L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-19
Dynamique d'apprentissage mésoscopique des réseaux de neurones à largeur extensive
Titre original: Mesoscopic learning dynamics of extensive-width neural networks
Cette étude examine comment la descente de gradient stochastique apprend des représentations internes dans des réseaux de neurones à deux couches dont la largeur et la dimension d'entrée croissent proportionnellement. Une approximation gaussienne de la distribution des recouvrements de caractéristiques réduit l'apprentissage initial à quelques variables collectives qui suivent les composantes linéaire et quadratique de la cible. Les auteurs rapportent que l'apprentissage de ces composantes filtre les fluctuations du gradient et accélère la spécialisation des caractéristiques individuelles.