AI与世界难题 · 理论计算机科学 · Anthropic · 2026-09-28
从重复数据中学习的缩放定律
原标题: Scaling laws of learning from repeated data
该研究考察了重复的训练数据如何影响语言模型。仅将0.1%的训练数据重复100次，就使一个8亿参数的模型性能降至4亿参数模型的水平，尽管其余90%的词元仍保持唯一。作者还发现，重复会损害与泛化相关的复制头和归纳头，并认为这可能解释了从泛化到记忆的转变。
AI与世界难题 · 理论计算机科学 · Anthropic · 2026-09-28
原标题: Scaling laws of learning from repeated data
该研究考察了重复的训练数据如何影响语言模型。仅将0.1%的训练数据重复100次，就使一个8亿参数的模型性能降至4亿参数模型的水平，尽管其余90%的词元仍保持唯一。作者还发现，重复会损害与泛化相关的复制头和归纳头，并认为这可能解释了从泛化到记忆的转变。