AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-21
線上 Softmax 分類中三分之一縮放的邊界層機制
原標題: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification
該研究分離出一種機制：在使用argmax教師標籤的高斯輸入上以線上SGD訓練單層softmax學生模型時，softmax交叉熵等平滑代理損失與離散硬標籤之間的不匹配會產生冪律學習曲線。在後期，只有教師決策邊界周圍逐漸縮小的樣本層仍保持活躍，使測試損失與泛化誤差在訓練時間上皆呈現α^{-1/3}定律。此誤差定律是一種線上雜訊效應，而學習率退火能在減慢損失下降的同時，將其指數從1/3改善至趨近1/2；即使沒有梯度雜訊，這種效應依然存在。