AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-21
オンラインソフトマックス分類における3分の1スケーリングの境界層メカニズム
原題: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification
ソフトマックス交差エントロピーのような滑らかな代理損失で離散的なハードラベルを訓練することに伴う不一致が、べき乗則の学習曲線を生むメカニズムを、ガウス入力とargmax教師ラベルのもとでオンラインSGDにより訓練される1層のソフトマックス学生モデルを通じて単離した。学習の後期には教師の決定境界周辺の薄まりゆく層の例だけが活性のまま残り、学習時間αに対するα^{-1/3}則がテスト損失だけでなく汎化誤差にも現れる。誤差のべき乗則はオンラインのノイズによる効果であり、学習率のアニーリングは誤差の指数を1/3から1/2へ向けて改善する一方で損失の収束は遅くなる。