ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-21
Оптимизаторы, вдохновлённые физикой, за границей устойчивости: орбиты периода два и отложенная неустойчивость
Оригинальное название: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability
Поскольку скорости обучения в глубоком обучении велики, обучение ведёт себя как дискретная динамическая система, в которой резкость обычно возрастает до предела устойчивости оптимизатора — края устойчивости (EoS). В работе анализируются кинетические отображения, где шаг является градиентом кинетической энергии импульса; показано, что их симметричные орбиты периода два за краем устойчивы только тогда, когда упругость отображения лежит между 0 и 1, что неустойчивость запаздывает, как в теории Нейштадта о медленном прохождении бифуркаций, и что демпфер VRAdam отказывает при скоростях обучения выше удвоенной критической, тогда как его дуал по Лежандру проходит при любой скорости обучения. Эксперименты на точной квадратичной задаче, полнобатчевом MLP и ResNet-32 подтверждают теорию, хотя на ResNet-18 значительная часть кажущегося выигрыша воспроизводится согласованием эффективной скорости обучения.