AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-26
Menguji Kemampuan Transformer untuk Mempelajari Barisan Aritmetika dari Pohon Berakar
Judul asli: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
Penelitian ini mengkaji apakah sebuah transformer dapat mempelajari barisan deterministik pohon berakar yang dihasilkan oleh faktorisasi prima berulang dari bilangan asli. Model bergaya GPT-2 yang dilatih dari awal pada 10^11 elemen pertama mencapai akurasi kata sekitar 0,4 pada prediksi token berikutnya dan token yang disamarkan, di atas baseline Hidden Markov Model, dan tetap stabil pada blok uji di 10^13 hingga 10^15. Likelihood model juga memisahkan teks aritmetika dari kontrol yang mempertahankan frekuensi token tetapi tidak urutannya, dan dari barisan dengan lebih dari tiga bilangan bulat bebas kuadrat berurutan, yang dilarang oleh aritmetika.