AI dan Masalah-Masalah Sulit Dunia · Matematika · arXiv · 2026-10-19
Melampaui Kompilasi: Mengevaluasi Formalisasi Pernyataan dari Bahasa Alami ke Lean yang Setia
Judul asli: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization
Lean memeriksa bahwa deklarasi yang dihasilkan memiliki tipe yang benar, tetapi tidak memeriksa apakah deklarasi itu sesuai dengan maksud pengguna, sehingga para penulis mengukur seberapa jauh keberhasilan kompilasi melebih-lebihkan kesetiaan dalam autoformalisasi pernyataan. Kriteria mereka mensyaratkan kompilasi Lean dan kesepakatan dua juri LLM dari keluarga model yang berbeda, dan kriteria ini sejalan dengan mayoritas penilai manusia pada 91.5% kasus dalam audit acak independen. Pada 227 pernyataan tingkat universitas di delapan sistem, selisih antara keluaran yang berhasil dikompilasi dan yang diterima berkisar antara 1.3 hingga 29.5 poin persentase, dengan agen yang dilengkapi alat berhasil mengompilasi 87.2% pernyataan tetapi hanya 57.7% yang diterima.