本月初，国际人工智能顶级会议AAAI 2022（Association for the Advancement of Artificial Intelligence 2022）论文录用结果公布，我院赖睿教授团队的2篇论文入选。

AAAI是由国际人工智能促进协会主办的年会，是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一，也是中国计算机学会（CCF）推荐的A类国际学术会议。本届会议共收到来自全球的9251篇投稿论文，接收1349篇，接收率仅为15%，创历史新低。

上述论文涵盖稀疏字典学习（Sparse Dictionary Learning）和微型机器学习（TinyML）。具体内容如下：

《高效正交字典卷积策略》（Towards an Effective Orthogonal Dictionary Convolution Strategy）

本文提出了一种新的正交字典卷积策略（OrthogonalityDictionary Convolution Strategy, ODCS），ODCS策略通过移除传统卷积神经网络中卷积层间的非线性层，并施加正交正则于特别的字典卷积层以构建“Conv(BN)+PWConv(BN)”的卷积单元结构，以减少字典卷积核的冗余信息，且可等效稀疏字典学习（Sparse Dictionary Learning）的正交字典矩阵与编码矩阵的相乘过程。与此同时，ODCS还松弛了训练中过紧的正交正则约束，从而简化模型的超参数调谐。基于CIFAR、ImageNet和CUB-200-2011标准测试集的图像分类实验证实，所提出的ODCS策略可获得更高的精度和更稳定而快速的收敛。

图1. 本文提出ODCS策略的三个主要步骤：（1）定位卷积块；（2）移除卷积块中非线性层；（3）施加正交正则于前层卷积。以此构建等效于字典学习中字典矩阵与编码矩阵乘积的卷积网络骨干模块。该方法易用于现有的SOTA模型，而不增加额外的推理开销。

《面向微型机器学习的超微网络》（EtinyNet: Extremely Tiny Network for TinyML）

本文针对存储受限的物联网边缘侧设备部署AI微型机器学习（Tiny ML）的应用场景需求，研究仅有KB级参数量的高效微型网络模型。为此，通过引入稠密线性深度卷积模块（Dense Linear DWConv Block）设计了参数精简的网络结构，并提出了新的自适应尺度量化方法以在保持精度前提下获得4bit权重位宽的超微网络模型ETinyNet。该模型可在340KB权重下，取得ImageNet数据集上57%的Top-1分类精度。当部署于现有商用MCU执行目标检测任务时，ETinyNet可在标准PascalVOC集上获得新SOTA的56.4% mAP精度。此外，基于Xilinx紧凑FPGA的验证实验进一步证实，ETinyNet仅消耗620mW的超低功耗，较现有方案降低了5.6倍以上，处理效率达到17.1Frames/s/mJ，较现有方案大幅提升了10倍以上。本文研究成果有利于AI技术在经济条件和能源供应有限的发展中国家广泛推广，助力可持续发展目标（SDGs）的实现。

图2. TinyML, MobileML and CloudML模型规模与在ImageNet集上Top-1精度的对照。本文提出的ETinyNet模型在保证精度前提下，可满足存储和能耗严重受限TinyML场景的应用。