AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-19
広い幅を持つニューラルネットワークの中間的スケールでの学習動力学
原題: Mesoscopic learning dynamics of extensive-width neural networks
入力次元と幅が比例して大きくなる二層ニューラルネットワークが、確率的勾配降下法でどのように内部表現を学習するかを調べた研究である。学習済みの特徴と目標関数の特徴の重なりの分布をガウス近似すると、学習過程は少数の集団的変数で記述できることを示した。さらに、線形成分と二次成分を先に学習すると勾配の揺らぎが抑えられ、個別の特徴への特化が早まることを報告している。