Optimization and Generalization of Gradient Methods for Shallow Neural Networks浅层神经网络的梯度方法优化与泛化

光华讲坛——社会名流与企业家论坛第6504期

主 题：Optimization and Generalization of Gradient Methods for Shallow Neural Networks浅层神经网络的梯度方法优化与泛化

主讲人：香港大学 雷云文博士

主持人：统计学院 林华珍教授

时间：4月26日 10：30-11：30

直播平台及会议ID：腾讯会议，670-601-110

主办单位：统计研究中心和统计学院 科研处

主讲人简介：

雷云文是香港大学数学系的助理教授。他的主要研究兴趣包括学习理论和优化，主要集中在算法稳定性分析、深度学习以及随机优化等主题。

内容简介：

Neural networks have achieved impressive performance in various applications. In this talk, we discuss the optimization and generalization of shallow neural networks (SNNs). We consider both gradient descent (GD) and stochastic gradient descent (SGD) to train SNNs. We show how the optimization and generalization should be balanced to obtain consistent error bounds under a relaxed overparameterization setting. We improve the existing estimates on the weak-convexity parameter of SNNs along the trajectories of optimization process.

神经网络在各种应用中已经取得了令人印象深刻的性能。在本次演讲中，我们讨论了浅层神经网络（SNNs）的优化与泛化。我们考虑使用梯度下降（GD）和随机梯度下降（SGD）来训练SNNs。我们展示了如何在放松的超参数设置下平衡优化与泛化，以获得一致的误差界。我们改进了关于SNNs弱凸性参数在优化过程轨迹上的现有估计。