AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · Anthropic · 2026-09-28
Hukum penskalaan pembelajaran dari data berulang
Judul asli: Scaling laws of learning from repeated data
Studi ini meneliti bagaimana data pelatihan yang berulang memengaruhi model bahasa. Mengulang hanya 0,1% data pelatihan sebanyak 100 kali menurunkan kinerja model berparameter 800M menjadi setara model berparameter 400M, meskipun 90% token lainnya tetap unik. Para penulis juga menemukan bahwa pengulangan merusak copying head dan induction head, yang terkait dengan generalisasi, dan menyarankan bahwa hal ini mungkin menjelaskan peralihan dari generalisasi ke memorisasi.