KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-21
Ein Grenzschichtmechanismus für die Ein-Drittel-Skalierung in der Online-Softmax-Klassifikation
Originaltitel: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification
Die Studie isoliert einen Mechanismus, durch den die Diskrepanz zwischen glatten Surrogatverlusten wie der Softmax-Kreuzentropie und diskreten harten Labels Potenzgesetz-Lernkurven erzeugt; dazu wird ein einschichtiges Softmax-Studentenmodell mittels Online-SGD auf gaußschen Eingaben mit Argmax-Lehrerlabels trainiert. Zu späten Zeiten bleiben nur schrumpfende Schichten von Beispielen um die Entscheidungsgrenzen des Lehrers aktiv, was sowohl für den Testverlust als auch für den Generalisierungsfehler ein α^{-1/3}-Gesetz in der Trainingszeit ergibt. Das Fehlergesetz ist ein Online-Rauscheffekt, und Lernraten-Annealing verbessert seinen Exponenten von 1/3 in Richtung 1/2, während es den Verlust verlangsamt, was selbst ohne Gradientenrauschen bestehen bleibt.