AI dan Masalah-Masalah Sulit Dunia · Matematika · arXiv · 2026-10-23
Melampaui LLM Judge: Verifikasi Mekanis untuk Autoformalisasi Agentik
Judul asli: Beyond LLM Judge: Mechanical Verification for Agentic Autoformalization
Makalah ini memaparkan metode untuk memverifikasi formalisasi Lean yang melampaui kesetiaan yang dinilai oleh LLM dengan menggabungkan tinjauan semantik berbasis LLM dengan pemeriksaan numerik dan kekosongan (vacuity) secara mekanis. Diterapkan bersama pipeline autoformalisasi ekstrak-verifikasi-bukti, metode ini digunakan untuk membangun FLMF, formalisasi parsial dari NIST Digital Library of Mathematical Functions. Pada tiga dataset berlabel, metode ini memiliki tingkat kesalahan yang diterima terendah di antara metode yang dievaluasi, dan tinjauan pakar menemukan cacat terjemahan dan sumber pada dataset yang sudah ada.