AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-26
在严重受损的输入上训练时,神经网络会变成质心分类器
原标题: Neural networks become centroid classifiers when trained on heavily corrupted inputs
作者研究了属性噪声，即输入被破坏而标签保持完好的情形，发现即使超过90%的输入被破坏，MLP仍能保持远高于随机水平的准确率。他们采用受平均场启发的方法分析无限宽度网络，证明该网络相当于一个最近类均值分类器，即将每个测试点分配给其训练平均值与之最相似的类别，这一规则在不同深度、激活函数和噪声分布下均成立。同样的质心机制与有限宽度下的行为相吻合，并解释了为什么即使单个训练样本几乎不携带信号，学习仍然可以成功。