KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-26
Konvergenz von SGD mit großer Schrittweite für den Kreuzentropie-Verlust mittels stochastischer Lyapunov-Stabilität
Originaltitel: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability
Deep Learning verwendet häufig Lernraten, die weit größer sind, als es die klassische Optimierungstheorie rechtfertigt, doch der stochastische Fall ist bislang weitgehend unerforscht. Die Autorinnen und Autoren liefern scharfe Konvergenzgarantien für SGD bei der Multiklassen-Kreuzentropie für lineare Klassifikatoren und zweischichtige neuronale Netze und zeigen, dass die Dynamik zwischen einem Edge-of-Stability-Regime, das von krümmungsgetriebenen Oszillationen dominiert wird, und einem stabilen Regime wechseln kann, in dem der erwartete Verlust mit kontrollierter Rate sinkt. Sie beweisen, dass SGD innerhalb einer festen Anzahl von Iterationen zur Stabilität zurückkehrt, was Best-Iterate-Konvergenz auch bei großen Lernraten ermöglicht; Experimente bestätigen diese Ergebnisse.