前沿研究丨神经自然语言处理最新进展
本文选自中国工程院院刊《Engineering》2020年第3期
作者：周明, 段楠, 刘树杰, 沈向洋
来源：Progress in Neural NLP: Modeling, Learning, and Reasoning[J].Engineering,
2020,6(3):275-290.
导 语
自然语言处理是人工智能研究的一个重要领域，旨在构建能够理解和生成自然语言、实现人机自然交互的技术方案。近5年来，基于神经网络的自然语言处理方法取得突飞猛进的发展。基于海量无标注数据和大量标注数据进行建模，使机器翻译、自动问答和阅读理解等很多任务的处理水平都得到了极大提高。
中国工程院院刊《Engineering》刊发的《神经自然语言处理最新进展——模型、训练和推理》一文，从3个角度回顾神经自然语言处理的最新进展，包括模型、训练和推理。在模型部分，介绍了典型的神经网络建模方法，包括词嵌入建模、句子嵌入建模和序列到序列建模等；在训练部分，介绍了常用的学习方法，包括监督学习、半监督学习、无监督学习、多任务学习、迁移学习和主动学习等；在推理部分，介绍了典型的推理框架，包括非神经网络方法和神经网络方法，推理是构建基于知识的可解释自然语言处理模型的关键技术。最后，文章概括了对自然语言处理未来发展方向的一些思考。
视频介绍丨神经自然语言处理最新进展——模型、训练和推理
视频来源：周明
作为人工智能的重要分支，自然语言处理研究人与机器之间如何通过自然语言进行交互。其研究范围包括：词、短语、句子和文档的处理以及机器翻译、问答系统、信息检索、对话、文本生成和推荐系统等应用。2012年以来，随着深度学习在图像和语音处理领域的突破性进展，深度学习方法也被引入到自然语言处理领域，并很快超过了传统的统计模型。如今，深度学习方法被全面用于自然语言处理的各个领域，并在某些任务（例如机器翻译和机器阅读理解）上达到了前所未有的水平。基于上述背景，周明等从(a)模型、(b)训练和(c)推理三方面回顾神经自然语言处理的最新进展。
针对模型，常用的神经网络建模方法包括词嵌入模型、句子嵌入模型和串到串建模。词嵌入模型将自然语言句子中的单词映射到连续的语义空间。基于词嵌入的语义空间表示，包括循环神经网络、卷积神经网络和自注意力网络等在内的方法才能生成考虑全句上下文的词嵌入表示或句子嵌入表示。词嵌入表示在词性预测和命名实体识别等任务中有广泛的应用。句子嵌入通常被用于句子级任务，例如情感分析或者复述判别。句子嵌入还可以用于循环神经网络或卷积神经网络，用来完成串到串间的转化任务（即编码器-解码器框架）。给定一个输入句子，串到串模型可以用来生成问题对应的答案（问答系统），也可以用来生成源语言句子对应的目标语言翻译（机器翻译）。
针对训练，对于资源丰富的自然语言处理任务，监督学习的方法通常被用来利用大规模标注数据训练模型参数。对于这样的任务，深度学习模型往往能够得到很好的效果，例如在中英语言对的新闻领域，存在大规模的双语句对，神经机器翻译的质量就会非常好，甚至达到了能与人类媲美的水平。然而对于其他自然语言处理任务，却很难获取大规模的训练数据，比如小语种的机器翻译和情感分析。为了提高该类任务上模型的性能，人们使用半监督学习方法将未标注数据和有标注数据进行结合，或者使用无监督学习方法仅仅使用未标注数据来训练模型参数。另一种利用未标注数据的方法是利用未标注数据来预训练模型参数，然后将预训练模型通过迁移学习来迁移到目标任务上。当本任务的训练数据不够时，其它相关任务的训练数据也可以通过多任务学习来改进模型的性能。人工标注数据自然是最为有用但代价最高的一个途径，如何在经费有限的情况下更为高效的进行数据标注便是主动学习的研究范围。
针对推理，将推理定义为：基于已有知识对未见问题进行理解和推断，并得出问题对应答案的过程。据此定义，推理系统主要由如下两个模块组成：(1) 知识，例如知识图谱、常识、规则、从本文中抽取的断言等；(2) 推理引擎，基于输入和已有知识推断出答案。
总体而言，自然语言处理研究和应用已经进入了一个新的时代。对于高资源的自然语言处理任务（例如机器翻译和自动问答），监督学习方法已经取得了很好的效果。对于低资源的自然语言处理任务，半监督学习和无监督学习在近年来也有了长足的进步和发展。但还需要更多持续的努力才能取得更令人满意的效果。此外，推理相关的研究和数据集也得到研究者越来越多的关注。这个方向目前尚处于起步期，但意义重大，因此还有很大的发展空间。展望未来，我们可以看到很多令人激动的方向。预训练模型的发展已经展示出巨大的威力。毫无疑问该类研究将继续推动自然语言理解和生成任务的水平。记忆和知识增强的神经网络方法会受到越来越多地关注，并促进知识抽取领域的持续发展。此外，如何将包括声音、视觉和文本等多模态信息融入到自然语言处理的研究中，也是人工智能发展的一个重要方向。在未来，自然语言处理技术会极大地改变人们的生活。为了实现这一目标，需要我们继续不断地创新并推动各项研究和应用。这些技术终将更好地为人类社会服务。
图1 神经自然语言处理中的模型、训练和推理
改编丨周明
注：本文内容呈现形式略有调整，若需可查看原文。
改编原文：
Ming Zhou, Nan Duan, Shujie Liu, Heung-Yeung Shum.Progress in Neural NLP: Modeling, Learning, and Reasoning[J].Engineering,2020,6(3):275-290.
☟ 如需阅读全文，请扫描二维码或点击文末“阅读原文”
☟ “人工智能”专题更多相关文章，请点击标题链接或扫描二维码查看
Artificial Intelligence: Enabling Technology to Empower Society
吕跃广
扫描二维码，阅读原文
Multiple Knowledge Representation of Artificial Intelligence
潘云鹤
扫描二维码，阅读原文
How to Interpret Machine Knowledge
李发伸，李廉，殷建平，张勇，周庆国，况琨
扫描二维码，阅读原文
The General-Purpose Intelligent Agent
卢策吾，王世全
扫描二维码，阅读原文
The Next Breakthroughs of Artificial Intelligence: The Interdisciplinary Nature of AI
庄越挺，蔡铭，李学龙，罗先刚，杨强，吴飞
扫描二维码，阅读原文
From Brain Science to Artificial Intelligence
范静涛，方璐，吴嘉敏，郭雨晨，戴琼海
扫描二维码，阅读原文
因果推理
Causal Inference
况琨，李廉，耿直，徐雷，张坤，廖备水，黄华新，丁鹏，苗旺，蒋智超
扫描二维码，阅读原文
A Survey of Accelerator Architectures for Deep Neural Networks
陈怡然，谢源，宋凌皓，陈凡，唐天琪
扫描二维码，阅读原文
神经自然语言处理最新进展——模型、训练和推理
Progress in Neural NLP: Modeling, Learning, and Reasoning
周明，段楠，刘树杰，沈向洋
扫描二维码，阅读原文
Artificial Intelligence in Healthcare: Review and Prediction Case Studies
荣国光，Arnaldo Mendez，Elie Bou Assi，赵博，Mohamad Sawan
扫描二维码，阅读原文
Ethical Principles and Governance Technology Development of AI in China
吴文峻，黄铁军，龚克
扫描二维码，阅读原文
The Next Breakthroughs of Artificial Intelligence: The Interdisciplinary Nature of AI
朱毅鑫，高涛，范丽凤，黄思远，Mark Edmonds，刘航欣，高枫，张驰，Siyuan Qi，吴英年，Joshua B. Tenenbaum，朱松纯
扫描二维码，阅读原文
Adversarial Attacks and Defenses in Deep Learning
任奎，Tianhang Zheng，秦湛，Xue Liu
扫描二维码，阅读原文
深度学习的几何学解释
A Geometric Understanding of Deep Learning
雷娜，安东生，郭洋，苏科华，刘世霞，罗钟铉，丘成桐，顾险峰
扫描二维码，阅读原文
点击图片阅读丨人工智能专题
中国工程院院刊
工程造福人类
科技开创未来
微信公众号ID ：CAE-Engineering
注：论文反映的是研究成果进展，不代表《中国工程科学》杂志社的观点。