AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-26
Sifat generalisasi perceptron token: peran embedding dan kosakata
Judul asli: Generalization properties of the token perceptron: the role of embedding and vocabulary
Prediksi token pada model bahasa besar adalah masalah klasifikasi yang geometrinya ditentukan oleh embedding, sehingga para penulis mempelajari model linear minimal yang disebut token perceptron. Dengan menggunakan metode replika, mereka menghitung galat generalisasinya dan menemukan bahwa untuk embedding kontinu, guru (teacher) dipulihkan secara tepat di atas ambang d²/(d−1). Untuk embedding kosakata, pembelajar optimal terlebih dahulu menyelesaikan arah-arah tempat kosakata paling bervariasi, bahkan ketika guru bersifat isotropik.