L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-21
Un mécanisme de couche limite pour la mise à l'échelle d'un tiers dans la classification softmax en ligne
Titre original: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification
L'étude isole un mécanisme par lequel la discordance entre des pertes de substitution lisses telles que l'entropie croisée softmax et des étiquettes dures discrètes produit des courbes d'apprentissage en loi de puissance, en utilisant un étudiant softmax à une couche entraîné par SGD en ligne sur des entrées gaussiennes avec des étiquettes d'enseignant obtenues par argmax. Aux temps tardifs, seules des couches d'exemples rétrécissantes autour des frontières de décision de l'enseignant restent actives, ce qui donne une loi en α^{-1/3} en temps d'entraînement tant pour la perte de test que pour l'erreur de généralisation. La loi d'erreur est un effet du bruit en ligne, et le recuit du taux d'apprentissage améliore son exposant de 1/3 vers 1/2 tout en ralentissant la perte, ce qui persiste même sans bruit de gradient.