AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-21
Mekanisme Lapisan Batas untuk Penskalaan Sepertiga dalam Klasifikasi Softmax Online
Judul asli: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification
Studi ini mengisolasi sebuah mekanisme di mana ketidakcocokan antara loss surrogate yang halus seperti softmax cross-entropy dan hard label diskrit menghasilkan kurva pembelajaran dengan hukum pangkat, dengan menggunakan student softmax satu lapis yang dilatih melalui online SGD pada input Gaussian dengan label teacher argmax. Pada waktu-waktu lanjut, hanya lapisan contoh yang menyusut di sekitar batas keputusan teacher yang tetap aktif, menghasilkan hukum α^{-1/3} dalam waktu pelatihan baik untuk test loss maupun error generalisasi. Hukum error tersebut adalah efek derau online, dan annealing learning rate meningkatkan eksponennya dari 1/3 menuju 1/2 sambil memperlambat loss, yang bertahan bahkan tanpa derau gradien.