AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-20
Autoresearch Terverifikasi Secara Formal untuk Menganalisis Ekspresivitas Multi-Head Attention
Judul asli: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention
Studi ini meneliti berapa banyak kepala atensi yang dibutuhkan transformer satu lapisan khusus atensi untuk merepresentasikan sebuah fungsi Boolean, yang didefinisikan sebagai kompleksitas kepalanya. Para penulis menurunkan bentuk normal yang eksak, membuktikan batas bawah derajat ambang, dan menunjukkan bahwa untuk fungsi simetris, kompleksitas kepala sama dengan jumlah perubahan nilai di seluruh tingkat bobot Hamming. Sebuah model frontier menghasilkan konjektur dan bukti, yang diverifikasi secara mesin di Lean, sementara peneliti manusia mengajukan pertanyaan dan meninjau hasilnya.