La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-19
Dinámica de aprendizaje mesoscópica de redes neuronales de ancho extensivo
Título original: Mesoscopic learning dynamics of extensive-width neural networks
Este estudio examina cómo el descenso de gradiente estocástico aprende representaciones internas en redes neuronales de dos capas cuyo ancho y dimensión de entrada crecen de forma proporcional. Una aproximación gaussiana de la distribución de los solapamientos entre características reduce el aprendizaje temprano a unas pocas variables colectivas que siguen los componentes lineal y cuadrático del objetivo. Los autores informan de que el aprendizaje de estos componentes filtra las fluctuaciones del gradiente y acelera la especialización de las características individuales.