机器翻译

浅谈Attention-based Model【原理篇】

0. 前言

看了台大的李宏毅老师关于Attention部分的内容,这一部分讲得挺好的(其实李宏毅老师其它部分的内容也不错,比较幽默,安利一下),记录一下,本博客的大部分内容据来自李宏毅老师的授课资料:Attention-based Model。如发现有误,望不吝赐教。

1. 为什么需要Attention

最基本的seq2seq模型包含一个encoder和一个decoder,通常的做法是将一个输入的句子编码成一个固定大小的state,然后作为decoder的初始状态(当然也可以作为每一时刻的输入),但这样的一个状态对于decoder中的所有时刻都是一样的。

iOS、Android和Amazon Fire平台的Translator应用在今天接收的更新中,微软为其带来了基于人工智能的离线语言包。对于Translator来说这无疑是非常重要的里程碑,此前高质量翻译模型往往需要连接到网络中,或者依赖专门的人工智能芯片(例如华为Mate 10中)。

微软Translator新增AI离线翻译功能:支持简中 翻译效果提升23%

Microsoft Translator团队解释道:“在此前工作的基础上,Translator团队进一步优化算法,可以在没有专用AI芯片的情况下直接通过任意主流设备的CPU来负责翻译工作。”在博文中表示全新的离线神经机器翻译(NMT)安装包不仅能够提供更好的翻译结果(翻译效果最高可提升23%),而且比此前的非神经离线语言包体积小50%。

微软宣布其中英机器翻译水平可与人类相当

3月14日消息,继在语音识别和机器阅读领域取得的“过人”成绩,由微软亚洲研究院与雷德蒙研究院的研究人员组成的团队今天宣布,其研发的机器翻译系统在通用新闻报道测试集newstest2017的中-英测试集上,达到了可与人工翻译媲美的水平。这是首个在新闻报道的翻译质量和准确率上可以比肩人工翻译的翻译系统。

newstest2017新闻报道测试集由产业界和学术界的合作伙伴共同开发,并于去年秋天在WMT17大会上发布。为了确保翻译结果准确且达到人类的翻译水平,微软研究团队邀请了双语语言顾问将微软的翻译结果与两个独立的人工翻译结果进行了比较评估。

微软技术院士,负责微软语音、自然语言和机器翻译工作的黄学东称,这是对自然语言处理领域最具挑战性任务的一项重大突破。“在机器翻译方面达到与人类相同的水平是所有人的梦想,我们没有想到这么快就能实现。”他表示,“消除语言障碍,帮助人们更好地沟通,这非常有意义,值得我们多年来为此付出的努力。”

同步内容
--电子创新网--
粤ICP备12070055号