AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-20
Dynamical Batching: Bagaimana Pelatihan Class-Cycling Membentuk Struktur Internal Jaringan Saraf
Judul asli: Dynamical Batching: How Class-Cycling Training Shapes the Internal Structure of Neural Networks
Para penulis memperkenalkan Dynamical Batching (DB), yang secara berkala menekankan setiap kelas dalam mini-batch pelatihan tanpa mengubah fungsi loss dan optimizer, lalu membandingkannya dengan pembentukan batch kelas seragam. Pada spiral tiga lengan, sebuah MLP berkapasitas terbatas yang mengalami stagnasi pada batch seragam mampu menyesuaikan data pelatihan dengan DB. Pada CIFAR-10, DB meningkatkan akurasi uji secara moderat untuk ResNet-10 dengan kanal yang dipersempit dan jaringan konvolusional berkapasitas terbatas lainnya.