AI 與世界的難題 · 理論資訊科學 · Anthropic · 2026-09-28
從重複資料學習的縮放定律
原標題: Scaling laws of learning from repeated data
本研究探討重複的訓練資料如何影響語言模型。僅將 0.1% 的訓練資料重複 100 次，就使 800M 參數的模型表現降至 400M 參數模型的水準，即使其餘 90% 的 token 仍保持不重複。作者還發現，重複會損害與泛化相關的複製頭與歸納頭，並認為這可能解釋了從泛化轉向記憶的現象。
AI 與世界的難題 · 理論資訊科學 · Anthropic · 2026-09-28
原標題: Scaling laws of learning from repeated data
本研究探討重複的訓練資料如何影響語言模型。僅將 0.1% 的訓練資料重複 100 次，就使 800M 參數的模型表現降至 400M 參數模型的水準，即使其餘 90% 的 token 仍保持不重複。作者還發現，重複會損害與泛化相關的複製頭與歸納頭，並認為這可能解釋了從泛化轉向記憶的現象。