L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-26
Convergence de la SGD à grand pas pour la perte d'entropie croisée via la stabilité de Lyapunov stochastique
Titre original: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability
L'apprentissage profond utilise souvent des taux d'apprentissage bien supérieurs à ce que la théorie classique de l'optimisation justifie, mais le cadre stochastique est resté largement inexploré. Les auteurs établissent des garanties de convergence précises pour la SGD sur la perte d'entropie croisée multiclasse, pour des classifieurs linéaires et des réseaux de neurones à deux couches, en montrant que la dynamique peut alterner entre un régime de bord de stabilité dominé par des oscillations dues à la courbure et un régime stable où la perte espérée décroît à un rythme contrôlé. Ils démontrent que la SGD retrouve la stabilité en un nombre fixe d'itérations, ce qui permet une convergence du meilleur itéré même avec de grands taux d'apprentissage, et des expériences valident ces résultats.