KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-19
Mesoskopische Lerndynamik neuronaler Netze mit extensiver Breite
Originaltitel: Mesoscopic learning dynamics of extensive-width neural networks
Diese Studie untersucht, wie der stochastische Gradientenabstieg interne Repräsentationen in zweischichtigen neuronalen Netzen lernt, deren Breite und Eingabedimension proportional wachsen. Eine gaußsche Näherung der Verteilung der Merkmalsüberlappungen reduziert das frühe Lernen auf wenige kollektive Variablen, die die linearen und quadratischen Komponenten der Zielfunktion verfolgen. Die Autoren berichten, dass das Lernen dieser Komponenten Gradientenschwankungen herausfiltert und die Spezialisierung einzelner Merkmale beschleunigt.