金秋九月，正是收获的季节，国际ECCV 2022官方多次传来捷报。据悉，在西安电子科技大学人工智能学院刘芳教授、焦李成院士的共同指导下，博士生李硕等人撰写的论文被ECCV 2022正式公布录用。此外，在焦李成院士、刘芳教授、屈嵘教授、刘旭博士和团队博士生杨育婷、王语涵、黄钟健、赵嘉璇、孙龙、游超、刘洋、宋雪、耿雪莉、鲍骞月、马彦彪、张紫霄、马梦茹等的共同指导下，西安电子科技大学人工智能学院学生队伍已斩获ECCV 2022五项（4冠军、1季军）奖项（已公布）。所有获奖队伍均收到竞赛主办方邀请，将获奖的竞赛方法在ECCV 2022 workshop会议上进行报告或者展示。本次竞赛由国家自然科学基金重点项目、中国人工智能学会-华为MindSpore学术奖励基金等资助。
李硕、郝泽华、赵凯博
在刘芳教授和焦李成院士的指导下，李硕、郝泽华和赵凯博等人在ECCV 2022上发表论文“Unsupervised Few-Shot Image Classification by Learning Features into Clustering Space”。
该论文从无监督构建任务的角度出发，提出了一种联合学习模型、聚类和小样本学习的无监督小样本图像分类方法。为了实现联合学习，作者首先通过固定聚类中心来设置可分离的聚类空间，然后通过可学习的模型将特征学习到预设的聚类空间中，最后通过结合图像采样、任务构建和任务编码等步骤实现无监督小样本图像分类。在Omniglot, miniImageNet, tieredImageNet和CIFARFS等数据集上的实验结果和可视化表明，论文提出的方法具有较好的从基类泛化到新类的能力。
Learning Features into Clustering Space算法示例
由2022级硕士研究生“左谊、王子韬、张潇文”等组成的学生团队获得了ECCV 2022下Advances in Image Manipulation workshop举办的Instagram Filter Removal Challenge冠军。
左谊、王子韬、张潇文
Instagram Filter Removal Challenge旨在通过一种网络/方案来移除图像上的滤镜，还原原始图像。比赛使用的数据集是IFFI数据集，该数据集包含一组由16个Instagram过滤器过滤的图像。IFFI数据集包含600张高分辨率（1080×1080）图像，每个图像有16个不同的过滤版本。比赛中挑选了最常用的16个过滤器：1977、Amaro、Brannan、Clarendon、Gingham、He-Fe、Hudson、Lo-Fi、Mayfair、Nashville、Perpetua、Sutro、Toaster、Valencia、Willow、X-Pro II。在挑战中，比赛方提供高分辨率（1080×1080）和低分辨率(256×256)版本，并以低分辨率的输出作为比赛结果的验证基准。此外，排除了经过Willow过滤的图像，以忽略图像重新着色的情况。最终排名时按照PSNR结果排名。
UTFR整体结构图
冠军方案：冠军队伍提出了UTFR方法来还原滤镜后的图像（A U-shaped transfomer for filter removal，简称：UTFR）。将滤镜看作一种另类的图像噪声，因此去除滤镜就相当于为图像去噪。在Uformer模型的基础上引入了TTA机制（Test Time Augmentation），在模型的训练时通过数据增强的方法来扩充数据量，增强模型的泛化性。最后在测试中分别对测试的图像进行相同的数据增强方法，并将变化后的图像进行融合，得到最终的结果。
UTFR接受的图像大小为256*256*3，进行了250个epoch的训练，初始学习率为0.0002，使用Adamw优化器（betas1=0.9, betas2=0.999），eps=1e-8, weight_decay=0.02。使用了余弦退火法来进行学习率衰减，衰减到1e-6。通过Warmup，在优化器中逐渐预热（增加）学习速率，Batchsize设置为6。使用可以更好地处理异常值的Charbonnier损失函数近似损失提高模型的性能，最终使用PSNR作为图像还原的评估指标。最终队伍获得了34.70的PSNR分数与0.97的SSIM分数。
由2021级硕士研究生“王佳豪、王浩、董倬君”组成的学生团队获得了ECCV 2022 NICO Hybrid Context Generation Challenge (Track 2)季军。
王佳豪、王浩、董倬君
NICO Challenge的目标是通过促进对具有原生不变性和泛化能力的内在学习机制的研究，促进视觉识别中的OOD泛化。训练数据是一些观察到的环境的混合物，而测试数据是由未见过的环境组成。参与者的任务是在不同的语境中开发可靠的算法，以提高模型的泛化能力。NICO Hybrid Context Generalization Challenge使用被重新组织的NICO++数据集，该数据集中含有57425个样本用于训练、8715个样本用于公开测试、20079个样本用于私人测试。
TSMFM方法示意图
季军方案：NICO Challenge赛道2主要任务是通过促进对具有固有不变性和泛化能力的内在学习机制的研究，促进视觉识别中的面向对象泛化。季军队伍提出A Three-Stage Model Fusion Method for Out-of-Distribution Generalization (简称：TSMFM)，使用三阶段融合的方法解决此问题。在第一阶段,训练不同结构的单模型作为初始模型。第二阶段，将初始单模型每三个分为一组，拼接全连接层并冻结其他参数重新训练fc层。第三阶段，对第二阶段的结果使用提出的自适应权重软投票融合算法进一步提升最后的准确率。
由2020级硕士研究生“路小强”等组成的学生团队获得该赛事下全部赛道（Track1-3）的冠军。
路小强
Seasons in Drift Challenge使用发表在NeurIPS2021上的LTD数据集，该数据集由跨越多个季节的热成像监控视频组成，相关边界框注释包括行人、自行车、摩托车及车辆等4类目标，其对于机器学习算法在监控环境中的部署和长期使用起着重要作用。此外，由于户外环境变化而引起的概念漂移问题，本次挑战旨在探索具备鲁棒性的算法来突破监控环境中的概念漂移问题，以开发用于实际部署的稳健算法。Drift Challenge使用最寒冷（寒冷环境会引入最少的概念漂移）的2月份中的有限数据划分为day-level，week-level以及month-level三个不同的赛道，其评估标准随数据量以及数据的时间跨度而变化，对1月至9月（除2月）的热成像监控视频进行性能测试。标准基线为YOLOv5，其性能得分分别为0.087，0.159及0.196。
目标检测任务示例
冠军方案：冠军队伍使用静态目标检测算法YOLOv4作为基线，对输入端视频数据依据数据量的变化进行自适应采样率的稀疏采样，以减少计算成本以及视频帧之间的冗余信息。不同于常规视频目标检测算法通过引入特定的时空信息聚合模块来增强当前帧的检测精度，该方法通过引入数据间的多样性在低训练成本的前提下大幅提升了静态目标检测器的性能。
对于检测器的预测输出，冠军队伍引入Seq-NMS算法，并在此基础上对目标序列间的候选框设定自适应IoU及score阈值以进行序列重新打分，减少错误关联的候选框。此外，冠军队伍引入EMA训练以及model soup模型集成策略来强化单一模型的鲁棒性，与常规的测试数据增强及结果融合等后处理方法相比，该方法降低了运行时间的同时提升了检测精度，更贴合工业实际应用。最终，冠军队伍的方法Seq-YOLO分别取得了0.280，0.324及0.338的得分，显著高于标准基线以及其他方法。
2021级参赛硕士研究生
2022级参赛硕士研究生
竞赛指导师兄师姐
ECCV，全称European Conference on Computer Vision (欧洲计算机视觉国际大会)，在世界范围内每两年召开一次。其与计算机视觉模式识别会议(CVPR)和国际计算机视觉大会(ICCV)并称计算机视觉方向的三大顶级会议。西安电子科技大学人工智能学院焦李成院士团队在遥感领域有30多年的经验积累，智能学子们也屡次在各项专业类竞赛中斩获佳绩。让学生通过学术竞赛快速提升科研能力、加强学术交流是人工智能学院人才培养的举措之一，“赛中学”不仅能够让学生保持科研的动力，同时也锻炼了学生的组织能力、团队写作能力与抗压能力等。据统计，团队近年来在的IGARSS、CVPR、ICCV、ECCV等国际赛事上已累计获冠亚季军奖项达百余项，人才培养成效显著。
通讯员：杨育婷、左谊、路小强、马梦茹、黄思婧
相关链接：
喜报|西电智能学子斩获国际2021CVPR竞赛4冠2亚1季军大奖
西电智能学子获国际IGARSS2021竞赛冠军并受邀做专题报告
西电学子再度斩获IEEE全球数据融合竞赛1冠军2季军奖项
智能学子斩获ICCV 2021国际竞赛五项冠亚季军
又双叒叕问鼎世界冠军｜西电学子 IGARSS 2022再获佳绩！
西电智能学子在CVPR 2022竞赛中再获佳绩
通讯员：杨育婷、左谊、路小强、马梦茹、黄思婧
