文中在对机器翻译的研究现状进行总结梳理的同时，也分析了现有机器翻译模型的优缺点。虽然现有的机器翻译模型已经取得了很好的效果，但是仍旧存在很多不足。传统的神经机器翻译模型主要还是基于循环神经网络和卷积神经网络，这两种网络要求计算机具有强大的计算能力，且无法解决长距离依赖的问题。而自主注意力机制作为近几年被提出的新技术，其高效的并行计算能力，强大的语义信息捕捉能力，使其在自然语言处理领域渐渐崭露头角。基于自注意力机制的在机器翻译任务中，自然语言推理，命名实体识别等任务中展现出卓越的性能。文中将自注意力机制应用于机器翻译，并针对机器翻译的特点，合理改进了自注意力机制的不足，设计了性能更加强大的新模型。
文中分析了自注意力机制忽略语序结构，无法捕捉句子中单词的位置信息的问题，句子单词的位置是非常重要的特征信息，它对于指代消歧，语义分析有什么很重要的指导作用。而对于这个问题，文中在第三章提出了一种基于对数位置表示和自注意力的机器翻译新模型。该模型通过在自注意力层加入对数位置表示，进一步增强了模型捕捉单词位置信息的能力，这种性能的加强不仅体现在距离上，还体现在方向性上。而对数表示方法模糊了“长距离”的概念，且使得相对位置表示从“窗口”中挣脱出来。实验结果表明，文中提出的模型在英译德和英译法的机器翻译任务中具有优于传统循环神经网络机器翻译模型和传统自注意力机器翻译模型的性能。
参考文献（略）
