西电电子所陈渤团队论文被机器学习顶会ICML2020录用
第37届国际机器学习大会(International Conference on Machine Learning,https://icml.cc/)将于2020年07月13日—07月18日，通过线上举行。该会议作为机器学习人工智能领域的两大顶级盛会之一，代表着热门科研领域的最前沿，具有广泛而深远的国际影响力。作为机器学习领域国际顶级会议，ICML对论文质量有较高要求，本届ICML会议录用论文1080篇，录用率仅为21.80%，因此在该会议发表论文表达了对作者工作的高度肯定。
今年，国内有来自清华、北大、上海交大、中科大、浙大和南大等高校的工作被录用，但仅是美国的1/6，也部分说明了我国在机器学习领域确实还有较大空间需要提升。由我校雷达信号处理国家级重点实验室陈渤教授指导的博士生郭丹丹、鲁瑞颖的工作，《Recurrent Hierarchical Topic-Guided RNN for Language Generation》，也被今年ICML录用。该论文属于自然语言处理领域。语言模型是各种自然语言处理任务的关键组成部分，其主要目的是捕获单词序列的分布，但它们通常忽略了文档中句子的顺序和文档上下文。在语言建模中，如何寻找更好的方法，既能捕捉单词之间的顺序，又能捕捉全局语义信息是比较有挑战的问题。不同于语言模型，主题模型是用来在一系列文档中发现抽象主题的一种统计模型。主题模型可以提取具有全局语义的隐表示，但是它们通常将每个文档视为一袋单词(BoW)，忽略了单词之间的顺序。
因此针对上述讨论的语言模型的问题，以及主题模型和语言模型各自的优势，本次研究提出使用深层时序主题模型来指导语言模型进行建模（rGBN-RNN）。如图1(a)所示，所提模型由两个关键部分组成:(1)一个层次递归主题模型（rGBN）；(2)一个基于多层RNN的语言模型（RNN）。主题模型用于捕获跨文档的全局语义和文档中句子间的长期依赖关系，而语言模型用于学习句子中单词之间的局部语法关系。
因此针对上述讨论的语言模型的问题，以及主题模型和语言模型各自的优势，本次研究提出使用深层时序主题模型来指导语言模型进行建模（rGBN-RNN）。如图1(a)所示，所提模型由两个关键部分组成:(1)一个层次递归主题模型（rGBN）；(2)一个基于多层RNN的语言模型（RNN）。主题模型用于捕获跨文档的全局语义和文档中句子间的长期依赖关系，而语言模型用于学习句子中单词之间的局部语法关系。
图1（a）rGBN-RNN生成模型
（b）RNN语言模型
（c)rGBN-RNN模型的总体结构，由解码器(rGB和语言模型)和编码器(变分时序推理)两部分构成，红色箭头表示主题权向量的推理，黑色箭头表示数据生成。
（b）RNN语言模型
（c)rGBN-RNN模型的总体结构，由解码器(rGB和语言模型)和编码器(变分时序推理)两部分构成，红色箭头表示主题权向量的推理，黑色箭头表示数据生成。
如图1(b)所示，所提模型将层次时序的主题权重向量作为额外输入集成到语言模型中。因此不同于传统的基于RNN的语言模型，所提出的模型不仅捕获句子内的单词依赖关系，而且捕获句子之间的相关性，同时利用主题模型考虑了文本的全局语义信息。为了进行推理，本次工作提出了随机梯度马尔科夫链蒙特卡洛和递归变分自编码的混合算法。图1(c)展示了rGBN-RNN的整个框架，包含了生成模型（编码器）和推理模型（解码器）。如图2所示，我们利用新闻数据训练三层rGBN-RNN，并将学习到的层次主题以及这些主题指导生成的句子进行了可视化。一方面，rGBN-RNN能够捕捉到不同层次主题之间可解释的层次关系，以及同一层次主题之间的时间关系（如图中彩色实线框所示）。另一方面，如图中虚线框所示，依据一个或者多个主题生成的句子大部分与相应主题高度相关。这种相关不一定在关键字的相似，更多是语义内容的接近，表明层次时序的主题能够成功地引导语言模型。这些观察结果表明，rGBN-RNN能够成功地捕获自然语言生成所需要的语法和全局语义信息。此外，模型还能生成语法正确、语义连贯的句子和段落。
图1（三层rGBN-RNN基于APNEWS（新闻）数据集推断出的主题，以及在主题指导下生成的句子。由上至下，第3层、第2层、第1层主题分别用橙色、黄色和蓝色实线框表示，生成的句子用虚线框表示，虚线框中标注了生成句子所用的主题索引号。图的底部是由不同层次的主题组合生成的句子。
通过近五年的努力，陈渤教授团队基于概率框架已构建了一套完整的概率统计深度模型家族，分别是概率深度全连接生成模型（NIPS2015、ICML2017、JMLR2016）、概率深度全连接自编码模型（ICLR2018、TPAMI2020）、概率深度卷积网络（ICML2019）、概率深度多模态模型（ICLR2020）、概率深度动态网络（NIPS2018、ICML2020）。这一系列工作为概率模型与传统深度网络的结合提供了关键技术支撑，并结合现实问题在实际应用中获得了突破。
此次工作的录用，意味着国际学术界对学校研究成果的认可。通过这篇文章，一方面，我们可以向国际同行展示西安电子科技大学雷达信号处理国家重点实验室师生在机器学习人工智能领域的研究能力和成果，扩大学校的学术影响力，另一方面还能促进实验室与该领域顶尖学者的交流以及对该领域最新研究进展的了解。
论文工作详情请参考陈渤教授主页：http://web.xidian.edu.cn/bchen/。
此次工作的录用，意味着国际学术界对学校研究成果的认可。通过这篇文章，一方面，我们可以向国际同行展示西安电子科技大学雷达信号处理国家重点实验室师生在机器学习人工智能领域的研究能力和成果，扩大学校的学术影响力，另一方面还能促进实验室与该领域顶尖学者的交流以及对该领域最新研究进展的了解。
