AIが解く世界の難問 · 計算機科学の理論 · Anthropic · 2026-09-28
繰り返しデータからの学習のスケーリング則
原題: Scaling laws of learning from repeated data
大規模言語モデルの学習データに含まれる繰り返しデータが、性能に与える影響を系統的に調べた。学習データの0.1%を100回繰り返しただけで、8億パラメータのモデルの性能が、その半分のサイズである4億パラメータのモデルと同程度まで低下した。繰り返しデータは、汎化に関わるコピーやインダクションヘッドなどの内部構造も損なうことが示された。