AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-20
Memverifikasi Referensi Penalaran yang Ditulis Manusia
Judul asli: Verifying Human-Written Reasoning References
Rantai penalaran tulisan manusia sering digunakan sebagai acuan untuk menilai penalaran AI, tetapi dukungan logis bagi langkah-langkahnya jarang diperiksa. Para penulis menggunakan LLM untuk menerjemahkan kesimpulan setiap langkah ke dalam logika orde pertama dan solver Z3 untuk memeriksa entailment, lalu menerapkannya pada 386 derivasi dari P-FOLIO. Dari jumlah tersebut, 202 (52,3%) memenuhi semua kriteria, dan 191 dari 230 langkah yang tidak dientail oleh dukungan yang dinyatakannya menjadi dientail ketika diperiksa terhadap seluruh premis.