（通讯员刘家铭）西安电子科技大学协同智能系统教育部重点实验室武越副教授、刘家铭硕士在神经网络领域权威期刊IEEE Transactions on Multimedia (TMM)上发表题为“Self-Supervised Intra-Modal and Cross-Modal Contrastive Learning for Point Cloud Understanding”的学术论文。该论文针对点云预训练问题，提出了一种联合模态内和跨模态的自监督对比学习方案。

从未标记的数据中学习有效的表征对于点云理解而言是一项具有挑战性的任务。受多模态研究的启发，我们引入了来自点云模态和图像模态的数据进行联合学习。基于点云和图像的特性，我们提出了CrossNet，一种学习点云表征的模态内和跨模态对比学习方法。该方法通过最大化点云及其增强版本以及不变空间中相应渲染图像的一致性来实现目标的3D-3D和3D-2D对应。我们进一步将渲染图像区分为RGB和灰度图像，分别提取颜色和几何特征。这些训练目标结合了模态之间的特征对应关系，以结合来自点云和图像的丰富学习信号。

本文所提方法简单且高效：我们分别向点云和图像分支添加特征提取模块和投影头模块，以自监督的方式训练主干网络。网络预训练后，只保留点云特征提取模块即可对下游任务进行微调并直接预测结果。我们在多个基准上的实验证明了对点云分类和分割结果的改进，并且学习到的表征可以跨领域推广。

IEEE Transactions on Multimedia是计算机科学和工程技术领域顶级期刊（IF 7.3，中科院一区，Top期刊）。该期刊致力于多媒体技术和多媒体应用研究的各个方面，包括但不限于电路、网络、信号处理、系统、软件和系统集成。

论文链接：https://ieeexplore.ieee.org/document/10147273