L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-21
Optimiseurs inspirés de la physique au-delà de la frontière de stabilité : orbites de période deux et instabilité différée
Titre original: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability
Les taux d'apprentissage étant grands en apprentissage profond, l'entraînement se comporte comme un système dynamique discret dans lequel la sharpness s'élève typiquement jusqu'à la limite de stabilité de l'optimiseur, le bord de stabilité (EoS). L'étude analyse les applications cinétiques, où le pas est le gradient d'une énergie cinétique du momentum, et montre que leurs orbites symétriques de période deux au-delà du bord ne sont stables que lorsque l'élasticité de l'application est comprise entre 0 et 1, que l'instabilité est retardée comme dans la théorie des bifurcations à balayage lent de Neishtadt, et que l'amortisseur de VRAdam échoue au-delà du double du taux d'apprentissage critique tandis que son dual de Legendre passe à tout taux d'apprentissage. Des expériences sur un problème quadratique exact, un MLP full-batch et ResNet-32 confirment la théorie, bien que sur ResNet-18 une grande partie du bénéfice apparent soit reproduite en ajustant le taux d'apprentissage effectif.