(通讯员高原) 西安电子科技大学协同智能系统教育部重点实验室公茂果教授、高原博士在《中国科学:信息科学》上发表题为“Adaptive federated learning algorithm based on evolution strategies”的学术论文,为模型的个性化适配提供了一种超网-子网的模型架构优化方法。
该论文提出了一种基于进化策略的自适应联邦学习算法来处理Non-IID数据问题。首先,在服务器端部署一个过参数化的超网,以便学习到所有客户端多样的私有数据分布;每个客户端建立与其私有数据分布适配的子网,提高用户模型的个性化程度。接着,通过剪枝的压缩方法减小子网体积,缓解通信和计算压力。实验结果表明,当本地数据不独立且分布不均匀时,该框架有助于通信带宽和计算能力有限的客户端参与联邦学习并显著提高了全局模型的泛化能力。
中国科学:信息科学主要报道计算机科学与技术、控制科学与控制工程、通信与信息系统、电子科学与技术、生物信息学等领域基础研究和应用研究方面具有重要意义和创新性的最新成果。
论文链接:https://www.sciengine.com/SSI/doi/10.1360/SSI-2021-0190/