AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-19
Dinamika pembelajaran mesoskopik pada jaringan saraf berlebar ekstensif
Judul asli: Mesoscopic learning dynamics of extensive-width neural networks
Studi ini meneliti bagaimana stochastic gradient descent mempelajari representasi internal pada jaringan saraf dua lapisan yang lebar dan dimensi inputnya bertambah secara proporsional. Aproksimasi Gaussian terhadap distribusi tumpang tindih fitur menyederhanakan pembelajaran awal menjadi beberapa variabel kolektif yang melacak komponen linear dan kuadratik dari target. Para penulis melaporkan bahwa mempelajari komponen-komponen ini menyaring fluktuasi gradien dan mempercepat spesialisasi fitur-fitur individual.