La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-26
Convergencia de SGD con pasos grandes para la pérdida de entropía cruzada mediante estabilidad de Lyapunov estocástica
Título original: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability
El aprendizaje profundo suele usar tasas de aprendizaje mucho mayores de lo que justifica la teoría clásica de optimización, aunque el entorno estocástico ha sido poco explorado. Los autores ofrecen garantías de convergencia precisas para SGD con pérdida de entropía cruzada multiclase en clasificadores lineales y redes neuronales de dos capas, y muestran que la dinámica puede alternar entre un régimen de borde de estabilidad dominado por oscilaciones impulsadas por la curvatura y un régimen estable en el que la pérdida esperada disminuye a una tasa controlada. Demuestran que SGD vuelve a la estabilidad en un número fijo de iteraciones, lo que permite la convergencia de la mejor iteración incluso con tasas de aprendizaje grandes, y los experimentos validan estos hallazgos.