ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-26
Нейронные сети становятся центроидными классификаторами при обучении на сильно искажённых входных данных
Оригинальное название: Neural networks become centroid classifiers when trained on heavily corrupted inputs
Авторы изучают шум атрибутов, при котором входные данные искажаются, а метки остаются нетронутыми, и обнаруживают, что MLP сохраняют точность, значительно превышающую случайную, даже когда искажено более 90% входных данных. Анализируя сети бесконечной ширины с помощью подхода, вдохновлённого теорией среднего поля, они показывают, что сеть действует как классификатор по ближайшему среднему класса: он относит каждую тестовую точку к классу, чьё обучающее среднее она больше всего напоминает, — это правило выполняется при разных глубинах, функциях активации и распределениях шума. Тот же механизм центроидов соответствует поведению сетей конечной ширины и объясняет, почему обучение может быть успешным, даже когда отдельные обучающие примеры почти не несут сигнала.