AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-19
广宽度神经网络的介观学习动力学
原标题: Mesoscopic learning dynamics of extensive-width neural networks
本研究考察了随机梯度下降如何在宽度与输入维度按比例增长的两层神经网络中学习内部表征。对特征重叠分布进行高斯近似后，早期学习可简化为若干集体变量，用以追踪目标函数的线性和二次分量。作者报告称，学习这些分量会过滤梯度涨落，并加速各个特征的特化。
AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-19
原标题: Mesoscopic learning dynamics of extensive-width neural networks
本研究考察了随机梯度下降如何在宽度与输入维度按比例增长的两层神经网络中学习内部表征。对特征重叠分布进行高斯近似后，早期学习可简化为若干集体变量，用以追踪目标函数的线性和二次分量。作者报告称，学习这些分量会过滤梯度涨落，并加速各个特征的特化。