用TensorFlow打造电动车的魂灵

在续航更久、动力更强、充电更快的硬件之外，造车新势力们也开端寻求更智能的人车交互办法。

在几小时孤单的远程路上，在日常通勤的了解风光中，在全家聚会的省亲途中，陪着你的都是身边的车。而在 Google 发布的机器学习开源结构 TensorFlow 的协助下，电动轿车制造商蔚来第一次让这个人类的好同伴活了起来，让车变得“有礼貌、会倾听、会考虑、知冷暖”。

这位好同伴乃至还有心情、有人设，它的名字叫 NOMI：

使用了根据 TensorFlow 构建的自然言语了解模型之后，NOMI 能够学习了解用户宣布的各种杂乱指令：调理温度、开关车窗、导航定位、监控车况……车主在驾驭进程中只需指挥 NOMI 帮自己完结作业，不需求再着手。

在 TensorFlow 的协助下，为轿车注入魂灵变得不再遥不行及。

全能 NOMI

调教智能语音帮手 NOMI 的第一步，是教会它怎样了解人类的言语。

人类的言语十分杂乱，不只或许因语境不同而发生歧义，有时还“话里有话”，不能像核算机指令相同简洁明了地表达需求。因而，关于机器而言，“了解”的进程便是把自然言语分解成各种小使命的进程。

而关于 NOMI 来说，来自车主的千奇百怪的指令能够大致分为三种：单使命、多使命和多轮对话。

单使命是最简略的一环，比方“NOMI，把车窗翻开”，或许“NOMI，把播放器音量调高”等指令，NOMI 能够主动判别并履行操作。此外，关于一些含糊的指令，NOMI 也能够剖析辨认用户躲藏目的。当车主提出：“NOMI，太阳太扎眼了”，NOMI 会主动翻开遮阳帘；车主提出“NOMI，车快没电了”，NOMI 能够了解车主的充电需求，并主动寻觅周边的充电站。

多使命则触及到一句话中的一连串指令，比方“翻开副驾驭座椅加热和按摩功用”。

关于 NOMI 来说，这些指令都仅仅刚刚入门，NOMI 以及其他的智能语音帮手面临的真实应战其实是多轮对话。多轮对话不只触及多方面常识的抽取、推理和使用（如言语常识、情感信息、常识常识等），还触及对包含自然言语了解在内的其他人工智能核心技术（如用户画像、对话办理等）的综合使用。

人工智能和人工智障往往只要一线之隔，假如智能语音帮手关于指令的了解仅仅停留在单句层面而无法联络上下文，就会呈现“车轱辘话来回说”的状况：

想要参加人类的谈天，语音帮手首要需求了解用户首要说了什么，怎样说的以及对话的逻辑流程。为了做到这一点，工程师需求对之前一轮乃至更多轮的对话进行建模，把上文中有用的槽值承继下来，以便了解上下文目的。想做到这一点真实不太简略，现在较为老练的商用语音帮手都曾经在多轮对话上翻过车。

为了让智能帮手“更聪明”，用更多的数据练习是一个进步猜测功用的好办法。假如练习数据缺乏，会形成拟合缺乏；假如网络模型参数太少，只会得到低精度的模型……但更多的数据也代表着更沉重的核算担负，一次完好的练习动辄用去数天，乃至几周、几个月的时刻。

因而，在曩昔很长一段时刻里，智能语音帮手都是少量几个大厂才做得起的“奢侈品”。但是 TensorFlow 的呈现大幅度的提升了语音帮手的开发功率，让语音帮手不再遥不行及。

蔚来使用 TensorFlow 丰厚的预练习模块开发 NOMI，这中心还包含而不限于双向循环神经网络（Bi-LSTM）、文本卷积特征（CNN）、注意力机制（Attention Mechanism）、自注意力机制（Self-Attention）、条件随机场（CRF）等。

一同，蔚来使用支撑的多机多卡分布式练习的 TensorFlow 2.0 多机并行减缩练习时刻，让 NOMI 站在“长辈们”的膀子上，到达更高的体现水准。

NOMI 语义了解模型示目的

在 TensorFlow 的结构下，NOMI 的语义了解该体系对用户的指令（Query）进行建模，并能经过多层次的表明学习提取用户指令中躲藏的信息，这中心还包含域信息（Domain）、目的（Intent）、槽位（Slot）、句式信息（Ques_type）等笼统信息。除此之外，NOMI 还保留了上一轮对话的指令信息（Query），经过两轮愈加丰厚的信息输入，让 NOMI 具有了联络上下文的才能。

现在，NOMI 现已能够和车主进行十分杂乱的多轮对话。

以驾驭进程中的温度调理为例：

用户query：Hi Nomi，主驾温度调到20度

成果反应：好的，主驾温度行将调到20度

用户query：再高点儿

成果反应：好的，立刻调整主驾到22度

用户query：仍是关了吧

成果反应：正在封闭前排空调

在这个比方中，NOMI 主动抽取了前一轮对话中的主语，即“主驾温度”，在车主追加“再高点儿”的指令时，主动了解到车主指的是上文中说到的主驾空调，然后主动做调整。在第三轮使命中，NOMI 持续保留着早年两轮对话中承继到的主语，不需求用户多费口舌。

此外，NOMI 还有个性化的、根据常识图谱的智能问答功用。传统轿车顺便的厚厚的一本用户手册，现已悉数存在了 NOMI 的“大脑”里，随时能够终究靠语音调用 ，再也不需求费力查找。

比方当用户提出：“Hi Nomi，教教我怎样充电”，NOMI 会主动反应：“ES6有直流和沟通两种充电插口：沟通慢充口坐落车辆主驾侧，直流快充口坐落车辆副驾侧”。

把强壮的算力，放进“小盒子”里

善解人意的 NOMI 虽好，但间隔实践使用还有最终一步：工程师需求把依靠强壮算力的 NOMI 塞进轿车里。

但是车机端资源十分有限，无论是核算才能仍是内存数量，都不能与 PC 比较，因而哪怕 NOMI 做得再好，也有必定的或许呈现“带不动”的状况。

为了把大 NOMI 装进小轿车，有必要要对模型进行结构裁剪、紧缩和杂乱的参数调理，这个工程的繁琐和杂乱程度不亚于从头构建一个小的自然言语处理模型。

好在 TensorFlow 早就为模型的布置留好了后路。

TensorFlow Lite(参数|图片)

为了让 NOMI 在嵌入式环境运转，蔚来在练习阶段就使用了较低精度的 INT8 量化练习。练习后，能够方便地在 TensorFlow 平台上把模型转化为专为移动设备设计的轻量级的 TersorFlow Lite，省去了冗繁的裁剪紧缩进程。

在实践运用进程中，NOMI 在云端和本地的两个大脑会并行进行核算。云端布置完好模型，核算才能较强，本地布置紧缩模型，算力相对有限，在本地连接云端超时的状况下，核算会主动转入本地进行。

在 TensorFlow 的协助下，语音帮手体现更智能、练习更高效、紧缩更简略。未来当用户有需求时，可供挑选的不再仅仅老熟人 Alexa 和 Siri，更个性化、更专业的语音帮手将会变得更多。

现在，咱们仍在搜集更多出色的TensorFlow使用事例，你能够扫描海报下方二维码或点击“阅览原文”提交事例参加咱们的报导！

或许你对这个项目感兴趣，想要了解更多关于项目的报导，也能够扫描下方二维码或查找微信号：pingwest-live 增加品玩帮手一同聊聊！