AI اور دنیا کے مشکل مسائل · ریاضی · arXiv · 2026-10-19

تالیف سے آگے: انگریزی زبان سے Lean بیانات کی وفادار باضابطہ صورت گری کا جائزہ

اصل عنوان: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization

Lean یہ جانچتا ہے کہ تیار کردہ declaration کی ٹائپنگ درست ہے، لیکن یہ نہیں کہ وہ صارف کے مقصد سے مطابقت رکھتی ہے، اس لیے مصنفین یہ ناپتے ہیں کہ statement autoformalization میں compilation وفاداری کو کتنا بڑھا چڑھا کر پیش کرتی ہے۔ ان کے معیار میں Lean compilation اور مختلف ماڈل خاندانوں کے دو LLM ججوں کا اتفاق درکار ہے، اور ایک آزاد بے ترتیب آڈٹ میں یہ 91.5% کیسز میں انسانی اکثریت سے متفق ہے۔ آٹھ نظاموں پر یونیورسٹی سطح کے 227 statements میں، compile ہونے والے اور قبول شدہ نتائج کے درمیان فرق 1.3 سے 29.5 فیصدی پوائنٹس تک ہے، جہاں ٹول سے لیس ایجنٹ 87.2% statements compile کرتا ہے مگر صرف 57.7% قبول کیے جاتے ہیں۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →