ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-26
Сходимость SGD с большим шагом для функции потерь кросс-энтропии на основе стохастической устойчивости по Ляпунову
Оригинальное название: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability
В глубоком обучении часто используются скорости обучения, намного превышающие те, что оправдывает классическая теория оптимизации, однако стохастический случай остаётся в основном неизученным. Авторы дают точные гарантии сходимости SGD для многоклассовой функции потерь кросс-энтропии для линейных классификаторов и двухслойных нейронных сетей, показывая, что динамика может чередоваться между режимом на границе устойчивости, где преобладают колебания, вызванные кривизной, и устойчивым режимом, в котором ожидаемые потери убывают с контролируемой скоростью. Они доказывают, что SGD возвращается к устойчивости за фиксированное число итераций, что обеспечивает сходимость лучшей итерации даже при больших скоростях обучения; эксперименты подтверждают эти результаты.