---

  新智元推荐  

腾讯交互翻译TranSmart是目前业界唯一可实现人机交互的互联网机器翻译产品。经过三年积累，功能已覆盖人工翻译全流程，如按键、词、短语、句子、翻译记忆等。2020年，TranSmart开启商业化探索之旅，获得业界伙伴积极认可：

阅文集团：国内排名第一的正版数字阅读平台，将通过网文定制翻译引擎赋能海外编辑人员，翻译上千部出海的小说作品。

华泰证券：国内前五的券商，其证券分析师通过翻译记忆融合与交互翻译，高效发布中英双语研报；

腾讯云官网：在国际版官网和技术文档翻译过程中，定制翻译引擎准确处理Markdown、XML等标记文本，高效复用术语、双语句对等语言资产，助力腾讯云数百款产品出海远航。

TranSmart继承和发展了交互翻译的技术概念，在保证人作为翻译主体的同时，量身定制的个性化机器翻译全方位赋能人工翻译过程：

自动翻译质量：在目标场景中，通过语料增强和模型优化，自动翻译质量稳居行业前列；

实时译文建议：译文片段智能推荐和整句补全，显著减少用户反复修改错误译文的困扰，大幅改善人工翻译体验；

翻译记忆融合：动态结合用户已完成的双语句对，生成更符合期望的自动译文，性能显著优于传统静态和增量式训练的机器翻译；

翻译输入法：参照原文上下文和机器翻译知识，实现精准组词，加快人工翻译过程中的输入效率。

前沿研究进展

作为国内领先、世界一流的企业级人工智能实验室，腾讯 AI Lab 一直秉承开放合作的理念与全球高校和研究机构共同探索 AI 技术前沿。

2020 年腾讯AI Lab的高校合作项目「犀牛鸟专项研究计划」完成第三年度闭环，共发表高水平论文 50 多篇，项目的多项成果已应用于智能语音交互产品、直播自动解说系统和视觉识别系统等。新的一年，「犀牛鸟」还将继续飞翔，继续发现前沿研究中的挑战性问题并开展原创性研究，同时探索新技术的行业应用案例，打造持续共赢的产学研合作生态和科研成果转化平台。

此外，腾讯 AI Lab 还启动了「开悟」AI多智能体与复杂决策开放研究平台产学研生态建设，发起首届王者荣耀开悟 AI 学术交流赛，邀请清华大学、北京大学、中科院等 18 所高校师生开展百人专项培训和竞赛，为今后开悟平台向高校的更大规模开放打下良好基础。

在学术成果上，2020 年腾讯 AI Lab 和 Robotics X 实验室在计算机视觉、语音、自然语言处理、多模态、知识图谱、机器学习、机器人等更众多 AI 领域都做出了业界领先的贡献，并通过学术会议、期刊和公开平台分享了这些劳动成果。在 ACL、INTERSPEECH、IROS、NeurIPS、AAAI 等主要顶级学术会议上，腾讯 AI Lab 和 Robotics X 实验室都做出了较为显著的贡献，整体发表的论文数量位居国内企业实验室前列。

据上海交通大学 Acemap 学术地图统计，腾讯 2020 年在 AI 领域的论文（其中相当大一部分来自腾讯 AI Lab）发表数位列全球大学与机构第 8 位，H-index 全球并列第 5 位。在中国的大学和机构排名中，腾讯的 AI 论文数量排名第 4， H-index 并列第 2，大幅领先国内其它企业。

腾讯 2020 年在 AI 领域的论文发表情况，其中论文发表数全球第 8 位，H-index 全球并列第 5 位，来自 https://www.acemap.info/ranking

下面将分主题简单梳理腾讯 AI Lab 在 2020 年发布的一些重要研究成果。

多模态研究

多模态研究的目标是让 AI 或机器人能通过整合多种不同来源的信号来理解环境和做出判断，比如视觉、雷达、GPS、语音、语言和互联网数据等。也因此，多模态研究对通用人工智能和虚实集成世界两大长期愿景而言具有极其重要的价值。

虽然多模态研究非常重要，但 AI 领域目前还没有专门面向多模态研究的顶级会议或顶级期刊，也因此腾讯 AI Lab 的多模态研究成果分散地发表在不同的学术会议和期刊上。

2020 年腾讯 AI Lab 在多模态方向上的研究主要集中于音频/视频/图像与文本的多模态学习。除了前文已经介绍过的虚拟人成果，腾讯 AI Lab 还提出了一种针对视频中时序句子定位和事件描述学习模态间交互的新方法，该方法能学习成对的模态交互，从而改善两项任务的性能。

另外，腾讯 AI Lab 还研究了如何基于场景图分解来生成自然语言描述，通过递归子查询构造改善视觉和自然语言匹配[6]以及一种新的视觉-文本匹配模型。

用于描述并定位视频事件的视频-文本多模态学习框架

除了视频-文本多模态，腾讯 AI Lab 也在视频-音频多模态上取得了一些研究成果。比如在一项 INTERSPEECH 2020 研究中，腾讯 AI Lab 提出了一种利用跨域视觉生成特征辅助障碍语音识别的方法。

该方法可利用大量域外的音频-视觉数据进行训练，从而为那些只有有限或者没有视觉数据的说话人生成视觉特征。这项帮助有发音障碍的说话人，提出的语音识别技术，有望实现一些重要的「科技向善」应用。

多模态语音分离框架

另外，在多模态人机交互上, 腾讯 AI Lab 还提出了多模态说话人diarization [9]；多模态语音分离[10]; 以及多模态语音识别方案[11]。这是融合音频、视频、 声纹、空间信息等多个模态，针对「鸡尾酒会」一类复杂场景的人机交互整体解决方案。

多模态语音分离和识别的联合训练框架

腾讯 AI Lab 还提出了一种新的深度多模融合框架：信道交换网络(CEN)  [12]。该框架通过在训练中自我引导地、动态地交换特定通道的特征，从而可在保持足够的模态内自身特征学习的同时，促进模态间的特征交互。

机器学习

机器学习是 AI 的核心过程和标志性能力，近些年的 AI 发展热潮正是源自深度学习这种机器学习技术的突破。

近段时间，机器学习领域的研究重心除了继续优化深度学习方法和拓展其应用范围外，也在积极探索其与其它学习范式的组合，并由此诞生了深度强化学习和生成对抗网络的成功技术，此外，擅长梳理网络关系的深度图学习也已成为领域的一大热门研究方向。

2020 年，腾讯 AI Lab 在多个机器学习方向上都得到了重要的研究成果，也为机器学习模型的可解释性、鲁棒性等理论分析做出了贡献。这些研究成果可见于 NeurIPS 2020 等 AI 领域顶级会议和 Nature Communications 等顶级期刊。

在这其中，深度强化学习是腾讯 AI Lab 的一大核心研究方向。立足于围棋和《王者荣耀》等视频游戏等场景，腾讯 AI Lab 在深度强化学习方面的探索已达世界前列水平。基于此技术开发的围棋 AI 「绝艺」已在中国国家围棋队训练中得到了实际应用，《王者荣耀》AI 「绝悟」也已进化为「完全体」并通过首次大规模 MOBA AI 智能体性能测试接受了广大玩家的检验。

完全体绝悟的成功基于腾讯 AI Lab 对新提出的方法与成熟方法的有效组合，其中包括课程自博弈学习、多头价值估计、策略注入、蒙特卡洛树搜索和离策略等。

腾讯 AI Lab 在深度图学习方面也成绩斐然，其中包括前文已提到的完全基于自监督训练的图神经网络框架 GROVER。通过在原子、化学键、分子级别的自监督任务设计，GROVER可以从海量的无标签分子中学习到大量结构/语义信息。

与此同时，为了可以编码分子中海量的复杂信息，GROVER 还整合了消息传播网络和Transformer，得到一个有更强表达能力的图神经网络模型 GTransformer。这对药物研发方面具有广阔的应用潜力。

腾讯 AI Lab 还提出了一种基于狄利克雷分布的图变分自编码器框架并证明了该框架与经典平衡图分割方法的等价性。另外腾讯 AI Lab 还通过分子逆合成分析探索了深度图学习在化学领域的应用。

此外，在 2020 年的 ACM SIGKDD 会议上，腾讯AI Lab、清华大学、香港中文大学等机构联合组织，通过一场为期一天的课程系统性地讲解了图神经网络。

腾讯 AI Lab 还有一项将深度强化学习与图学习组合起来的研究成果，这是一种针对文字游戏提出的基于分层堆叠注意力机制的深度强化学习算法。这项研究使用了知识图进行显式推理以进行决策，从而通过可解释的推理程序生成并支持智能体的决策。加上一种新提出的分层堆叠注意力机制，可通过利用知识图的结构来构造推理过程的显式表示。

分层堆叠注意力网络架构

腾讯 AI Lab 在网络架构搜索方面也取得了一些进展。相较于人工设计网络架构，自动化网络架构搜索效率更高，而且还可能找到人类难以构想出的结构，目前该技术已经在诸多领域得到了广泛应用。

在用于提升网络架构搜索的计算效率方面，腾讯 AI Lab 提出了一种过渡性的仿射参数共享训练策略，对参数共享的程度进行了量化分析，并动态地调整搜索训练速度和备选网络结构的可区分性，以提升网络搜索的效率与精度。

在结合多任务学习方面，腾讯 AI Lab 采用了基于任务的结构控制器，来针对不同的任务产生针对性的网络结构，并采用元学习的方式，使得网络参数可以快速适应到新的任务上。

此外，腾讯 AI Lab 还在相关理论分析方面做出了一些贡献，包括一项评估神经机器翻译的可解释性方法，可帮助我们打开深度学习黑箱。另外，腾讯 AI Lab 还研究了选择性机制对自注意网络的改善情况，解释了该机制在顺序编码和结构建模上的主要贡献，这对于进一步改进自注意力网络有一定的启发和指导意义。

最后，腾讯 AI Lab 的一篇 ECCV 2020 论文也提出了一种基于神经科学研究的新式卷积：

语境门限卷积（Context-Gated Convolution。这是一种轻量级的组件，可以很好地应用在现有的卷积神经网络中，在图像识别、视频理解、机器翻译上都可以显著提升现有模型性能。

门限卷积示意图

自然语言处理

随着 BERT 与 OpenAI GPT 等基于 Transformer 的大规模语言模型的出现，一些专家认为自然语言处理领域将在未来十年内迎来重大突破。腾讯 AI Lab 正在为推动自然语言处理技术的发展而开展研究工作。在 2020 年 7 月举办的自然语言处理领域顶级会议 ACL 2020 上，腾讯 AI Lab 贡献了 20 篇论文，位列国内企业研究机构前列。

在文本理解方面，2020 年 4 月腾讯 AI Lab 开放了文本理解系统TexSmart，可对中文和英文两种语言的文本进行词法、句法和语义分析。

与其它现有公开的文本理解工具相比，TexSmart除了支持分词、词性标注、粗粒度命名实体识别（NER）、句法分析、语义角色标注等常见功能外，还提供细粒度命名实体识别、语义联想、深度语义表达等特色功能。TexSmart 系统获得了2020 中国计算语言学大会（CCL）最佳系统演示奖。

在对话理解方面，腾讯AI Lab提出了对话语义角色标注（Conversational Semantic Role Labeling）技术，该技术将对话的语义表示成多个「谓词-论元」结构，可以同时处理对话中常见的信息缺失和指代问题，有效地提升了对话的理解和下游任务的性能，如对话改写[21]和对话生成。

同时，腾讯AI Lab将该项技术和对话理解的其他技术结合，在京东智能客服对话比赛中获得第一名。

此外，腾讯 AI Lab 还在长文本阅读理解、从高资源语言向低资源语言的泛化、基于对话的关系抽取等方面取得了一些研究进展。

在语言生成与对话方面，除了前文已经描述过的能生成格式可控的歌词、诗词文本的 SongNet[25]，腾讯 AI Lab 还研究了如何更好地理解对话上下文、如何打造千人千面的对话机器人、如何融合常识等知识、如何在保证流畅性的同时生成符合逻辑的自然语言等课题。

相关研究成果包括面向多轮对话的语义角色标注与对话改写[26]、利用灰度数据增强多轮对话理解、知识融合型对话生成、基于开放领域表格的逻辑性自然语言生成、提升对话一致性的三阶段生成模型等。

在机器翻译方面，我们致力于改善翻译模型的效果。我们提出的数据重生和多领域通用翻译模型可更有效利用大规模多领域混合训练数据。

同时，我们继续深耕于理解并改进Transformer模型，其中包括理解选择性机制对自注意力网络的重要性，推理置信度校准研究和评估神经机器翻译的可解释性方法。受益于此，我们的自动翻译（中英和英中）系统准确度继续保持国内前列，在国际翻译比赛WMT2020中也取得了1项第一，3项第二的成绩。

计算机视觉

2020 年，腾讯 AI Lab 在计算机视觉方面成果颇丰。在计算机视觉领域顶级会议 CVPR 和 ECCV 上，腾讯 AI Lab 各有 11 和 18 篇论文入选，多模态学习、视频内容理解、对抗攻击与对抗防御、基于生成模型的图像编辑等多项课题。此外在 NeurIPS 2020 上也有多篇相关论文入选。

首先来看针对视觉的对抗攻击问题，这是基于深度神经网络的计算机视觉模型的一大核心弱点，也是很多实际计算机视觉应用的最后一道门槛。当然，这也是腾讯 AI Lab 的一大重要研究课题。

2020 年，腾讯 AI Lab 提出了一些实现对抗攻击的新策略，比如一种针对深度聚类的对抗策略可以挖掘易于使聚类层出现预测偏差，但却不会影响深度嵌入网络性能的样本，这种无监督对抗聚类网络能利用对抗攻击与防御训练方法提升深度聚类网络的鲁棒性；另一项发表在ECCV上的研究也提出了利用扰动分解实现稀疏对抗攻击的新思路。

稀疏对坑攻击示例

同时，腾讯 AI Lab 也提出了一些用于防御对抗攻击的技术，包括一种针对对抗攻击的鲁棒目标跟踪方法，它能在产生轻量对抗扰动时候将时序信息纳入考虑，从而提升模型鲁棒性。

腾讯 AI Lab 在图像去模糊和超分辨率方面也成果颇丰。

比如在 ECCV 入选论文中，腾讯 AI Lab 有两篇论文研究了如何消除视觉场景的雨滴，其中包括一种基于语义理解的双目去雨方法和一种利用雨痕和雨雾分析进行图像去雨的技术。

超分辨率方面，腾讯 AI Lab 提出了一种结合3D脸部结构先验的人脸超分辨算法，该算法能充分利用脸部结构及身份信息来辅助处理困难的脸部姿态变化。

当然，腾讯 AI Lab 也没有缺席热门的视频研究领域，这能帮助机器理解不断动态变化的世界，对多模态学习而言也具有重要价值。2020 年的相关研究包括一种可用于时序动作分割的边界感知级联网络，这种新的级联模式能让模型自适应地调整感受野以及对语义模糊的视频帧做出更加有信心的预测。

此外，腾讯 AI Lab 还提出了一种新的短时序动作检测框架——移动中心点检测器（MOC-Detector），其可将动作实例视为运动点的轨迹，实现高质量的长时动作检测。

腾讯 AI Lab 也在手语自动翻译上做出了一些研究进展，其提出了一种基于多粒度视频片段的手语翻译层次化特征学习方法，该方法能自适应地利用多粒度时序信息，对视频语义进行局部和全局的建模，从而能极大缓解对手势分割的需要，提升翻译质量。希望这项研究能更进一步转化为「科技向善」的应用成果。

语音

高质量语音数据识别是一个已经基本得到解决的问题，但在现实生活应用中，语音领域还面临着鸡尾酒会问题以及人们自由聊天口语化表达风格多样的问题。而在语音合成方面，高自然度和表现力的合成语音仍旧还是需要不断努力到达的目标。

2020 年，语音技术顶级会议 INTERSPEECH 共接收了 16 篇腾讯 AI Lab 论文，其中既有在语音前沿技术方向的进一步探索，也包含一些理论研究和分析，同时还有在科技向善与文化遗产保护等方面的应用成果。

在这其中，腾讯 AI Lab 为解决鸡尾酒会问题提出了多项潜在的解决策略。

一是前面多模态学习部分已经介绍的使用视觉数据辅助识别；

二是使用带强干扰的声源数据来进行学习，这能「迫使」模型在非常糟糕的干扰条件下学习到足够具有区分和泛化性能的表征，

三是不断改进多通道语音增强波束形成技术，通过提出全新的基于递归神经网络的波束形成方法，首次突破传统波束形成技术，在PESQ等客观指标和WER等语音识别指标上同时达到最优。四是提出了一种端到端的多通道语音分离技术, 比传统的多通道技术性能提高10%。

另外，在语音识别方面，腾讯 AI Lab 着力提升复杂条件下的识别性能，通过有效结合分离和识别技术，使得在背景音乐及干扰人声下的语音识别准确率获得相对20% 的大幅提升，该技术正广泛应用于信息流产品视频内容理解、短视频及直播视频字幕生成中。

而在语音合成方面，DurIAN 是腾讯 AI Lab 多年研究的重要结晶，也是腾讯虚拟人语音系统的核心组件。

DurIAN 不仅能合成更加自然流畅的说话语音，还能用于合成歌声，腾讯 AI Lab 甚至还探索了其在京剧合成方面的应用[47]，从技术角度为中国传统文化的保护和传承提供一个方向。

腾讯 AI Lab 的语音合成技术在2020 年完成端到端合成工业化落地之后，不断朝着更高的目标演进，不但发音人音色数量大幅增加，每个音色都具有多种情感和多种不同风格的语音合成能力，可综合不同风格和情感实现针对不同场景不同文本更自然的表达。

在此基础上，腾讯 AI Lab 还实现了韵律词、字级别的细粒度控制能力，可以灵活地对单个字、词的语气情感进行调节，在一句话内部也可有丰富的变化，大幅提升了合成语音的表现力和感染力。细粒度控制的合成技术正在落地到游戏解说和小说合成这样对表现力和感染力要求更高的应用场景中。

总结与展望

过去的 2020 年是必然会被写入历史书的一年，如何让这个世界变得更好已成为更多人积极思考和探索的问题，而科技必将在其中发挥至关重要的作用。

继续秉承「科技向善」的信念和「Make AI Everywhere」的愿景，以通用人工智能和虚实集成世界为长期目标，腾讯 AI Lab 在这一年中做出了更多积极的应用和研究贡献，涵盖虚拟人、多智能体、农业、医疗、药物研发和机器人等诸多领域。

面对未知的未来，腾讯 AI Lab 还将继续砥砺前行，努力用科学技术攻克这个世界所面临的的许多宏观难题和日常生活中的许多微观任务。新的一年，我们不会放松在前沿科技上的进一步探索，同时还将拓展 AI 技术的更多行业应用。

如果你曾在王者峡谷与完全体「绝悟」对战过，如果你曾在 AI 艾灵的舞台前点歌并倾听过她的演唱，或者如果你也曾借鉴腾讯 AI Lab 的思路开展自己的项目，不妨与我们分享一下你的经历和感受。

2021，新年快乐！

开源项目

●   hifi3dface：高速低成本创建高拟真度 3D 虚拟人

https://github.com/tencent-ailab/hifi3dface

●   SongNet：可以根据任意格式和模板来生成相契合的文本（诗词歌赋），该项目还发布了一个预训练汉语模型和一个已经过微调的宋词模型。

https://github.com/lipiji/SongNet

●  GROVER：大规模自监督分子图预训练模型（可用于 ADMET 分子属性预测等任务）

https://ai.tencent.com/ailab/ml/gnnpretrain.html

●   重症COVID-19患者早期分期的深度学习生存模型

https://github.com/cojocchen/covid19_critically_ill

●   LogicNLG：基于开放领域表格的逻辑性自然语言生成

https://github.com/wenhuchen/LogicNLG

●   Graph2Tree：用于自动解数学应用题的图到树学习

https://github.com/2003pro/Graph2Tree

●   recurrent-transformer：用于生成更连贯视频语言描述的记忆增强型循环Transformer

https://github.com/jayleicn/recurrent-transformer

●   InfECE：神经机器翻译中推理阶段的置信度校准研究

https://github.com/shuo-git/InfECE

●   SSAN：选择性自注意网络

https://github.com/xwgeng/SSAN

●   Data Rejuvenation：数据重生：让神经机器翻译中的不活跃样本「复活」

https://github.com/wxjiao/Data-Rejuvenation

●   metaHypernymy：基于元学习的低资源语言上下位预测的方法

https://github.com/ccclyu/metaHypernymy

●   DialogRE：基于对话的关系抽取（RE）数据集

https://github.com/nlpdata/dialogre

与https://dataset.org/dialogre

●   AMR-multiview：图到文本生成中的结构化信息保留

https://github.com/Soistesimmer/AMR-multiview

●   lab-zp-joint：基于多任务训练框架的联合零指代还原和消解训练

https://github.com/freesunshine0316/lab-zp-joint

●   Sub-GC：基于场景图分解的自然语言描述生成

https://github.com/YiwuZhong/Sub-GC

●   FeatherWave：一种高效的多频带并行式高质量语音合成器

https://wavecoder.github.io/FeatherWave/

●   TSPNet：基于时序语义金字塔的手语翻译层次化特征学习

https://github.com/verashira/TSPNet

●   ALRDC：基于对抗学习的鲁棒性深度聚类

https://github.com/xdxuyang/ALRDC

●   ProxyGML：使用更少代理的深度图度量学习方法

https://github.com/YuehuaZhu/ProxyGML

●   CEN：信道交换网络

https://github.com/yikaiw/CEN

●   TStarBot-X：纯机器学习的星际争霸II强AI

https://github.com/tencent-ailab/tleague_projpage

●  TLeague：通用的大规模多智能体博弈训练框架

https://github.com/tencent-ailab/tleague_projpage

开放项目