叠加、记忆与双下降

原标题: Superposition, memorization, and double descent

这项初步研究在有限的数据集上训练表现出叠加现象的玩具模型，以研究过拟合和记忆。作者发现，过拟合对应于在叠加中存储数据点，而非特征。他们将该玩具模型呈现为一个出人意料地丰富的过拟合案例研究。