AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · Anthropic · 2026-09-28
Superposisi, memorisasi, dan double descent
Judul asli: Superposition, memorization, and double descent
Studi pendahuluan ini melatih model mainan yang menunjukkan superposisi pada dataset terbatas untuk menyelidiki overfitting dan memorisasi. Para penulis menemukan bahwa overfitting berkaitan dengan penyimpanan titik data, bukan fitur, dalam superposisi. Mereka menyajikan model mainan tersebut sebagai studi kasus yang mengejutkan kaya untuk overfitting.