讲者：林宙辰 北京大学教授
时间：11月30日周五下午16:00-17:30
地点：行政楼c505
摘要：优化是机器学习的不可或缺的组成部分。这个报告将展示优化不仅能用于训练深度神经网络，还可以用于网络设计。报告基于最近发表的aaai 2019和acml 2018两篇论文。在aaai 2019论文中，我们提出了提升近邻算子机（lpom），来把前向神经网络的训练问题近似为一个多凸（multi-convex）优化问题，从而可以方便地求解。lpom具有多个优点：每个变量块容易更新、存储量和随机梯度法相同、可以使用任何lipschitz连续的非降激活函数、容易调参、可以异步并行等等。lpom可能会成为目前主流的随机梯度法的替代。在acml 2018论文中，我们首先证明具有固定权重的深度神经网络等价于用梯度法来最小化某目标函数。接着，基于快的算法对应于好网络的假设，我们用比梯度法快的算法来最小化该目标函数，从而得到相应的深度网络，resnet和densenet都是我们设计框架的特例。
个人简介：林宙辰，北京大学信息科学技术学院机器感知与智能教育部重点实验室教授，中国图形图像学会机器视觉专委会主任，国家“杰青”。研究领域包括计算机视觉、图像处理、机器学习、模式识别和数值优化。他是cvpr 2014/2016/2019、iccv 2015、nips 2015/2018和aaai 2019的领域主席，aaai2016/2017/2018和ijcai 2016/2018的高级程序委员。他是ieee transactions on pattern analysis and machine intelligence 和international journal of computer vision的编委，iapr和ieee会士。
外事秘书 在
提交