报告题目：基于PID的动量梯度算法分析与应用

主 讲 人：喻 高 航

单 位：杭州电子科技大学数学系

时 间：1月9日16:00

腾 讯 ID：156 293 932

摘 要：

机器学习/深度学习很多任务通常转化为求解大规模优化问题。进而采用一阶优化方法求解，如动量梯度算法及随机动量梯度算法等。最近，结合控制领域中经典的“比例-积分-微分”（PID）控制器，有人提出了所谓的PID算法。一定的情形下，PID算法可以退化为传统的动量梯度算法。实验表明PID算法能够克服超调现象，并有效改善动量梯度算法的计算效率。基于一个正则条件，我们给出了PID算法的收敛性分析。进一步，结合PID算法与拟牛顿方程，我们提出了一类预条件动量梯度算法。预条件因子的选取能够有效提高算法效率。对经典的CIFAR数据集，仿真结果验证了算法的有效性。最后，我们也讨论了一类自适应重启的动量梯度算法。

简 介：

喻高航，杭州电子科技大学教授、博导，主要从事张量数据分析、大规模优化计算及其在机器学习、图像处理与医学影像中的应用研究。先后在SIAM Journal on Imaging Sciences, International Journal of Robust and Nonlinear Control，IEEE Signal Processing Letters，Journal of Mathematical Imaging and Vision等国际期刊上发表40余篇SCI论文,主持4项国家自科基金、1项教育部博士点基金、1项教育部新世纪优秀人才支持计划项目和1项浙江省自然科学基金重大项目课题等,有多篇论文入选ESI高被引榜单。自2013年起任国际学术期刊Statistics, Optimization and Information Computing执行编委（Coordinating Editor）.