AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-21
Optimizer Terinspirasi Fisika melampaui Tepi Stabilitas: Orbit Periode-Dua dan Instabilitas Tertunda
Judul asli: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability
Karena nilai learning rate dalam deep learning besar, pelatihan berperilaku sebagai sistem dinamis diskrit yang ketajamannya (sharpness) biasanya naik hingga batas stabilitas optimizer, yaitu edge of stability (EoS). Studi ini menganalisis peta kinetik (kinetic maps), di mana langkah merupakan gradien dari suatu energi kinetik momentum, dan menunjukkan bahwa orbit simetris periode-duanya di luar tepi hanya stabil ketika elastisitas peta berada di antara 0 dan 1, bahwa ketidakstabilan mengalami penundaan seperti dalam teori Neishtadt tentang bifurkasi yang tersapu lambat, dan bahwa peredam VRAdam gagal di atas dua kali learning rate kritis sementara dual Legendre-nya lolos pada setiap learning rate. Eksperimen pada masalah kuadratik eksak, MLP full-batch, dan ResNet-32 mendukung teori ini, meskipun pada ResNet-18 sebagian besar manfaat yang tampak dapat direproduksi dengan menyamakan learning rate efektif.