La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-21
Optimizadores inspirados en la física más allá del borde de la estabilidad: órbitas de período dos e inestabilidad retardada
Título original: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability
Como las tasas de aprendizaje en aprendizaje profundo son grandes, el entrenamiento se comporta como un sistema dinámico discreto en el que la sharpness suele subir hasta el límite de estabilidad del optimizador, el borde de estabilidad (EoS). El estudio analiza los mapas cinéticos, donde el paso es el gradiente de una energía cinética del momento, y muestra que sus órbitas simétricas de periodo dos más allá del borde solo son estables cuando la elasticidad del mapa está entre 0 y 1, que la inestabilidad se retrasa como en la teoría de bifurcaciones barridas lentamente de Neishtadt, y que el amortiguador de VRAdam falla por encima del doble de la tasa de aprendizaje crítica, mientras que su dual de Legendre pasa en cualquier tasa de aprendizaje. Experimentos sobre un problema cuadrático exacto, un MLP de lote completo y ResNet-32 respaldan la teoría, aunque en ResNet-18 gran parte del beneficio aparente se reproduce igualando la tasa de aprendizaje efectiva.