KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-21
Physik-inspirierte Optimierer jenseits der Stabilitätsgrenze: Orbits der Periode zwei und verzögerte Instabilität
Originaltitel: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability
Da die Lernraten im Deep Learning groß sind, verhält sich das Training wie ein diskretes dynamisches System, in dem die Schärfe typischerweise bis an die Stabilitätsgrenze des Optimierers, den Stabilitätsrand (EoS), ansteigt. Die Studie analysiert kinetische Maps, bei denen der Schritt der Gradient einer kinetischen Energie des Impulses ist, und zeigt, dass deren symmetrische Orbits der Periode zwei jenseits dieses Rands nur stabil sind, wenn die Elastizität der Map zwischen 0 und 1 liegt, dass Instabilität wie in Neishtadts Theorie langsam durchlaufener Bifurkationen verzögert einsetzt und dass VRAdams Dämpfer oberhalb der doppelten kritischen Lernrate versagt, während sein Legendre-Dual bei jeder Lernrate funktioniert. Experimente mit einem exakten quadratischen Problem, einem Full-Batch-MLP und ResNet-32 stützen die Theorie, wobei bei ResNet-18 ein Großteil des scheinbaren Nutzens durch Angleichen der effektiven Lernrate reproduziert wird.