疊加、記憶與雙下降

原標題: Superposition, memorization, and double descent

這項初步研究在有限的資料集上訓練會呈現疊加現象的玩具模型，以探討過度擬合與記憶。作者發現，過度擬合對應於在疊加中儲存資料點，而非特徵。他們將此玩具模型呈現為過度擬合方面出奇豐富的個案研究。