深度神经网络提升Alexa自定义技能的自然语言理解

在今日的Alexa Live活动中某机构设备和开发者副总裁Nedim Fresko表示某机构正在使用深度神经网络来改善客户使用Alexa技能的体验。深度神经网络由数千甚至数百万个密集连接的、模拟大脑神经元处理方式的节点组成。它们通过在大量训练数据中寻找模式来学习执行任务。“我们正在采用深度神经网络来提高Alexa对单个单词和句子的自然语言理解能力”Fresko对Alexa Live的观众表示“我们已经开始将该技术应用于自定义技能并对初步结果感到兴奋。”Fresko预计使用基于深度神经网络新技术的Alexa技能其准确率平均将提升15%。该机构计划在今年晚些时候之前将深度神经网络的应用范围扩大到美国、英国、印度和德国的400项符合条件的技能中。此前Alexa技能完全由最大熵和条件随机场模型驱动这些模型通过确定话语的意图并标记其槽位来执行自然语言理解。这些模型的输入特征是话语的n-gram从话语中提取的连续n个单词的序列以及其他一些特征如话语长度和每个标记构成单个语义单元的单词或单词组合的相对位置。这些模型的预测基于输入信号的线性组合这使得它们轻量、易于训练且推理速度快。深度神经网络模型则更擅长识别自然语言。结合无监督预训练深度神经网络在各种自然语言处理领域都取得了最先进的性能。词嵌入是深度神经网络模型的核心组成部分它将每个词标记表示为300维向量空间中的一个点使得具有相似含义的词具有相似的共现模式被分组在一起。为了开发有效的词嵌入某机构科学家利用由BERT推广的无监督掩码语言建模预训练技术并结合多个训练语料库。“通过预训练的词嵌入深度神经网络可以从‘给我买一个苹果’泛化到‘给我订一个橙子’因为在底层嵌入空间中‘苹果/橙子’和‘买/订’具有相似的表示”领导该项目科学工作的Konstantine Arkoudas解释道。“这种机制是迁移学习的一种形式它赋予了深度神经网络关键优势因为模型不再仅仅从开发者提供的对话示例中学习。”然而存储词嵌入极其消耗内存。为了使深度神经网络在超过10万项技能中实用某机构科学家将大型共享通用嵌入存储与小型、局部的技能特定嵌入存储相结合。最后大量的非线性隐藏层使深度神经网络能够学习输入信号和目标输出之间更复杂的相关性。正是这些综合优势使得深度神经网络的表现优于最大熵-条件随机场模型。致谢感谢整个Alexa科学和自然语言理解团队是他们让这里强调的创新成为可能。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享