ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-19
Мезоскопическая динамика обучения нейронных сетей экстенсивной ширины
Оригинальное название: Mesoscopic learning dynamics of extensive-width neural networks
В этом исследовании изучается, как стохастический градиентный спуск обучает внутренние представления в двухслойных нейронных сетях, у которых ширина и размерность входа растут пропорционально. Гауссово приближение распределения перекрытий признаков сводит раннее обучение к нескольким коллективным переменным, отслеживающим линейную и квадратичную компоненты целевой функции. Авторы сообщают, что обучение этим компонентам отфильтровывает градиентные флуктуации и ускоряет специализацию отдельных признаков.