AI और दुनिया की कठिन समस्याएँ · गणित · arXiv · 2026-10-19

कंपाइलेशन से आगे: प्राकृतिक भाषा से Lean कथन औपचारिकीकरण की विश्वसनीयता का मूल्यांकन

मूल शीर्षक: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization

Lean यह जाँचता है कि जनरेट की गई declaration सही ढंग से typed है, लेकिन यह नहीं कि वह उपयोगकर्ता के इरादे से मेल खाती है। इसलिए लेखक मापते हैं कि statement autoformalization में compilation faithfulness को कितना बढ़ा-चढ़ाकर दिखाता है। उनके मानदंड के लिए Lean compilation और अलग-अलग मॉडल परिवारों के दो LLM judges की सहमति आवश्यक है, और एक स्वतंत्र यादृच्छिक ऑडिट में यह 91.5% मामलों में मानव बहुमत से सहमत है। आठ सिस्टम में 227 विश्वविद्यालय-स्तरीय statements पर, compile होने वाले और स्वीकृत आउटपुट के बीच का अंतर 1.3 से 29.5 प्रतिशत अंक तक है; tool-augmented agent ने 87.2% statements compile किए, लेकिन केवल 57.7% स्वीकृत हुए।

मूल लेख पढ़ें ↗

सभी आइटम →