现代优化前沿论坛

现代优化前沿及其交叉领域的研究持续深化和拓展，非凸非光滑优化、多目标优化和统计优化等领域不断取得新进展，并为解决深度学习和人工智能领域诸多问题提供了有力工具，受到国内外学者的广泛关注。为进一步推动这些领域的研究，并吸引更多青年学子加入研究队伍，西安电子科技大学数学与统计学院定于2022年6月18日上午举办线上学术会议—“现代优化前沿论坛”，特邀香港几位著名优化学者作报告，并指导青年教师和研究生在相关领域开展研究。

会议时间：2022年6月18日（星期六）8:50-12:00

会议平台：腾讯会议ID: 557-465-094

联 系 人：高卫峰18954259319 gfw@xidian.edu.cn

白艺光15029078658 ygbai@foxmail.com

数学与统计学院

2022年6月13日

现代优化前沿论坛

会议时间：2022年6月18日

会议平台：腾讯会议ID：557-465-094

时 间	主题报告	报告人	主持人
08:50-09:00	开幕式
09:00-09:50	Nonsmooth Nonconvex Optimization for Training Deep Neural Networks	陈小君 （香港理工大学）	刘三阳 (西安电子科技大学)
09:50-10:40	Multiobjective Expensive Optimization	张青富 (香港城市大学)
10:40-11:30	Exploring the Sparsity of Large-scale Statistical Optimization Problems	孙德锋 (香港理工大学)
11:30-12:00	自由讨论
会议闭幕

报告摘要

Keynote报告1

题目：Nonsmooth Nonconvex Optimization for Training Deep Neural Networks

报告人：陈小君教授香港理工大学

摘要：This talk has 4 parts.

1.Reformulations of nonsmooth nonconvex optimization for training leaky ReLU neural network.

2.Penalty methods and a smoothing proximal gradient algorithm.

3.Computation of subgradients in stochastic gradient algorithms for nonsmooth nonconvex finite-sum optimization.

4.Automatic choroid layer segmentation from OCT images using deep learning.

报告人简介：

陈小君，香港理工大学应用数学系讲座教授，美国工业与应用数学学会会士、美国斯坦福大学2021世界排名前2%的高被引科学家。2013-2019年担任香港理工大学应用数学系主任，现任香港理工大学大数据分析中心实验室主任，中科院数学与系统科学研究院-香港理工大学应用数学联合实验室主任。累计主持香港RGC、日本JSPS、澳大利亚ARC项目20余项，担任Journal of Optimization Theory and Applications, SIAM Journal on Numerical Analysis, SIAM Journal on Optimization等多个国际著名刊物的编委，至今已在国际顶尖学术期刊上发表论文80多篇，曾于2012年在国际数学规划会议上作特邀报告。研究领域包括随机均衡问题、变分不等式、非光滑非凸优化、大数据分析中的稀疏优化。

Keynote报告2

题目：Multiobjective Expensive Optimization

报告人：张青富教授香港城市大学

摘要：

在众多现代工程领域中多目标优化问题中，目标函数的评价需物理或计算机仿真实验，极其耗时及昂贵。此类优化问题无法承受过多的函数评价。本报告将介绍昂贵多目标优化的基本概念，一种基于MOEA/D的昂贵优化方法及这一领域未来的可能研究课题。

报告人简介：

张青富，现任香港城市大学电脑科学系讲座教授，IEEE Fellow，国家高层次人才计划特聘专家，长江学者讲座教授。曾获得2010年IEEE Transactions on Evolutionary Computation杰出论文奖，并从2016年至2020年连续五年入选计算机科学领域的高被引学者。担任IEEE Transactions on Evolutionary Computation和IEEE Transactions on Cybernetics等期刊副主编，谷歌学术被引29000余次，h指数68。其所提出的MOEA/D已成为进化多目标优化领域最常用的算法框架之一。

Keynote报告3

题目：Exploring the Sparsity of Large-scale Statistical Optimization Problems

报告人：孙德锋教授香港理工大学

摘要：It has been widely recognized that the structured sparsity of the optimal solutions is an intrinsic property for large-scale optimization problems arising from modern applications in the big data era. In this talk, we shall first illustrate the structured sparsity of the solutions via some popular machine learning models. In particular, we shall show that the solution of the convex clustering model can be highly structurally sparse even if the solution itself is fully dense. We shall then introduce a dual semismooth Newton based proximal point algorithm (PPDNA) and explain why it can be much more efficient than the first-order methods for solving a class of large-scale optimization problems arising from machine learning. The key point is to adaptively make use of the second-order sparsity of the solutions in addition to the data sparsity so that, at each iteration, the computational costs of the second-order methods can be comparable or even lower than those of the first-order methods. Equipped with the PPDNA, we shall then introduce some adaptive sieving methodologies to generate solution paths for large-scale optimization problems with structured sparsity of particular importance in applications. In the last part of the talk, we shall illustrate the high efficiency of our approach with extensive numerical results on several important models including convex clustering, lasso, and exclusive lasso.

报告人简介：

孙德锋，香港理工大学应用数学系系主任和讲座教授，美国工业与应用数学学会会士，中国工业与应用数学学会会士，香港数学学会会长。荣获国际数学规划Beale--Orchard-Hays奖，新加坡国立大学科学学院首届杰出科学家奖。曾任《Asia-Pacific Journal of Operational Research（亚太运筹学杂志）》主编，现任国际顶级数学期刊《Mathematical Programming(数学规划)》编委，《SIAM Journal on Optimization》编委等。在Mathematics of Operations Research, Mathematical Programming, SIAM Journal on Optimization等国际权威刊物上发表学术论文百余篇。主要从事连续优化及机器学习的研究，包括基础理论、算法及应用。在半光滑和光滑化牛顿方法，以及线性和非线性矩阵优化等方面具有很深造诣。其在非对称矩阵优化问题方面取得的系列成果促成了矩阵优化这一新研究方向。2021年凭借排产方面优化求解器的贡献，获得华为诺亚方舟实验室杰出合作奖。