AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-26
Konvergensi SGD dengan Ukuran Langkah Besar untuk Fungsi Kerugian Cross-entropy melalui Stabilitas Lyapunov Stokastik
Judul asli: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability
Pembelajaran mendalam (deep learning) sering menggunakan laju pembelajaran yang jauh lebih besar daripada yang dapat dibenarkan oleh teori optimisasi klasik, namun pengaturan stokastiknya sebagian besar belum dieksplorasi. Para penulis memberikan jaminan konvergensi yang tajam untuk SGD pada fungsi kerugian cross-entropy multikelas untuk pengklasifikasi linear dan jaringan saraf dua lapis, dengan menunjukkan bahwa dinamikanya dapat bergantian antara rezim edge-of-stability yang didominasi osilasi akibat kelengkungan dan rezim stabil di mana ekspektasi kerugian menurun pada laju yang terkendali. Mereka membuktikan bahwa SGD kembali ke kondisi stabil dalam jumlah iterasi tertentu, sehingga memungkinkan konvergensi iterasi terbaik bahkan dengan laju pembelajaran yang besar, dan eksperimen memvalidasi temuan ini.