AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-21
在线Softmax分类中三分之一缩放的边界层机制
原标题: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification
该研究分离出一种机制，解释了softmax交叉熵等光滑代理损失与离散硬标签之间的失配如何产生幂律学习曲线，其采用单层softmax学生模型，在高斯输入上以argmax教师标签经在线SGD训练。在晚期，只有教师决策边界附近不断收缩的样本层仍保持活跃，使测试损失与泛化误差在训练时间上均呈 α^{-1/3} 律。该误差规律是一种在线噪声效应；学习率退火能将其指数从1/3向1/2改进，同时减缓损失的下降，而后者即使在没有梯度噪声时依然存在。