IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-19
Dinâmica de aprendizado mesoscópica de redes neurais de largura extensiva
Título original: Mesoscopic learning dynamics of extensive-width neural networks
Este estudo examina como a descida do gradiente estocástica aprende representações internas em redes neurais de duas camadas cuja largura e dimensão de entrada crescem proporcionalmente. Uma aproximação gaussiana da distribuição das sobreposições de features reduz o aprendizado inicial a algumas variáveis coletivas que acompanham os componentes linear e quadrático do alvo. Os autores relatam que o aprendizado desses componentes filtra as flutuações do gradiente e acelera a especialização de cada feature.