KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-26
Neuronale Netze werden zu Zentroid-Klassifikatoren, wenn sie mit stark verfälschten Eingaben trainiert werden
Originaltitel: Neural networks become centroid classifiers when trained on heavily corrupted inputs
Die Autoren untersuchen Attributrauschen, bei dem Eingaben verfälscht werden, während die Labels intakt bleiben, und stellen fest, dass MLPs selbst dann eine Genauigkeit weit über dem Zufallsniveau behalten, wenn mehr als 90% der Eingaben verfälscht sind. Bei der Analyse von Netzen unendlicher Breite mit einem von der Mean-Field-Theorie inspirierten Ansatz zeigen sie, dass das Netz als Nearest-Class-Mean-Klassifikator wirkt, der jeden Testpunkt der Klasse zuordnet, deren Trainingsmittelwert ihm am ähnlichsten ist – eine Regel, die über Tiefen, Aktivierungsfunktionen und Rauschverteilungen hinweg gilt. Derselbe Zentroid-Mechanismus entspricht dem Verhalten bei endlicher Breite und erklärt, warum Lernen auch dann gelingen kann, wenn einzelne Trainingsbeispiele kaum Signal enthalten.