AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-19
Mienendo ya kujifunza ya kimesoskopiki ya mitandao ya neva yenye upana mkubwa
Kichwa asilia: Mesoscopic learning dynamics of extensive-width neural networks
Utafiti huu unachunguza jinsi mteremko wa gredienti wa nasibu (stochastic gradient descent) unavyojifunza uwakilishi wa ndani katika mitandao ya neva yenye tabaka mbili ambayo upana wake na vipimo vya ingizo hukua kwa uwiano. Ukadiriaji wa Gaussian wa usambazaji wa muingiliano wa sifa hupunguza ujifunzaji wa awali hadi vigeu vichache vya pamoja vinavyofuatilia vijenzi vya mstari na vya kwadratiki vya lengo. Waandishi wanaripoti kuwa kujifunza vijenzi hivi huchuja mabadiliko ya gredienti na huharakisha utaalamishaji wa sifa mmoja mmoja.