近期雷达信号处理国家级重点实验室陈渤教授团队的硕士生段志斌和博士生王东升，以及本科生李晔文，任杰合作完成的工作，《Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network》，被第38届国际机器学习会议(International Conference on Machine Learning,https://icml.cc/)（下称ICML 2021） 录用。作为机器学习领域的顶级国际会议，该会议引领着机器学习领域的发展方向，具有广泛且深远的国际影响力。今年一共有1184篇论文被ICML 2021接收，接收率创近五年来最低仅为21.4%，因此在该会议发表论文表达了对研究工作的高度肯定。除此之外，硕士生段志斌和博士张昊（现为美国康奈尔大学博后）合作完成的工作，《EnsLM: Ensemble Language Model for Data Diversity by Semantic Clustering》，也成功被计算语言学协会第59届年会暨第11届自然语言处理国际联席会议(The Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, https://2021.aclweb.org/)（下称ACL-IJCNLP 2021） 主会长文录用。 作为自然语言领域的顶级国际会议，该会议引领自然语言处理领域的前沿发展方向，具有广泛且深远的国际影响力。本届ACL共计收到3350篇论文投稿，最终有21.3%的论文录用到主会。
本次在ICML 2021发表的研究是基于团队在深度概率统计模型方面的系列工作。众所周知，此次人工智能新一轮的浪潮起源于深度神经网络，如何构建起深层而有效的神经网络是一项非常具有挑战性且关键的核心技术。何凯明等人于2014 年提出一种残差式网络，将神经网络不同层的隐层特征构建起依赖关系，将卷积神经网络扩展至110层取得了显著的效果，引领了计算机视觉领域的发展。而针对传统概率变分自编码器难以构建有效的深层生成网络的限制，本文创造性的提出一种新颖的锯齿形网络结构。区别于传统神经网络逐层参数独立的假设，锯齿形神经网络能够将不同层的网络参数构建起依赖关系，进一步的促进信息传播，以构建起深层有效的网络结构。该种网络结构成功的被应用于伽马信念网络中，取得了良好的效果。
图1：(a) 伽马信念网络（b）本文提出的锯齿形生成模型，以及构建起的新型变分自编码器
图2：(a) 单词与主题向量投影（b）不同层的主题向量投影
除次之外，锯齿形网络结构能够将多层的网络参数投影至同一空间中，具有更强的可解释性。 如图2所示，语义相似的单词会投影在相似的区域中，并且不同层的主题也会被投影于同一空间。 图三中展示了15层的网络结构，说明在深层依然可以学习到有意义的网络结构，展示出模型的强大建模能力。
图3：15-层网络结构的可视化
值得注意的是此工作是本科生参与合作完成的，来自电院17级的李晔文和任杰同学于2019年因为对相关方向的浓厚兴趣加入陈渤教授团队从事概率统计模型科研实习。在此次论文的发表过程中担当着重要的角色，体现了电子工程学院对本科生全面素质教育的重视，反映了雷达信号处理国家级重点实验室对本科生科研的支持与帮助。 对电院所有在读和即将步入学院的本科生是一种鼓励，希望有兴趣的同学可以在学有余力的情况下在本科阶段接触科研，培养对科研的兴趣。同时，陈渤教授团队也欢迎学有余力的本科生加入我们团队进行学习交流。
本次在ACL2021发表的研究是基于团队在自然语言模型方面的工作。在文本处理领域，传统自然语言模型难以捕捉文本之间语义的差异性。 本文中提出一种两层的变分自编码器，其能够根据文本的语义进行聚类，这种聚类可以被理解为域。根据聚类结果，对传统自然语言模型进行域自适应操作，以更好地应对不同的数据。该方法被成功应用于文本分类，文本生成，抽象式摘要生成等任务中，并取得了不错的效果。
图4： 不同语义类别下的文本，以及生成的文本
继本次ICML2021发表的Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network以及ACL2021发表的EnsLM: Ensemble Language Model for Data Diversity by Semantic Clustering，陈渤教授团队的深度概率统计框架在实际应用方向上再次取得了重要成果。概率统计深度网络框架旨在将概率统计模型与传统深度网络相结合，进而将概率模型的可解释性融入到深度网络中，并提高深度模型在实际应用上的性能。在2015年至今的五年时间里，陈渤教授团队已构建了一套完整的概率统计深度模型族，分别是概率深度全连接生成模型（NIPS2015、ICML2017、JMLR2016）、概率深度全连接自编码模型（ICLR2018、TPAMI2020、ICML2021）、概率深度卷积网络（ICML2019 、NIPS2020）、概率深度多模态模型（ICLR2020）、概率深度动态网络（NIPS2018、ICML2020）和图概率深度网络（NIPS2020），概率深度语言模型（ACL 2021）。这一系列工作为概率模型与传统深度网络的结合提供了关键技术支撑，并结合现实问题在实际应用中获得了突破。
这两篇工作的录用，意味着国际学术界对学校研究成果的认可。通过这两篇文章，一方面，我们向国际同行展示了西安电子科技大学雷达信号处理国家重点实验室师生在机器学习和自然语言处理领域的研究能力和成果，扩大了学校的学术影响力，另一方面促进了实验室与领域内顶尖学者的交流以及对该领域最新研究进展的了解。
