الذكاء الاصطناعي ومشكلات العالم الصعبة · الرياضيات · arXiv · 2026-10-19

ما بعد الترجمة البرمجية: تقييم الصياغة الصورية الأمينة للعبارات من اللغة الطبيعية إلى Lean

العنوان الأصلي: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization

يتحقق Lean من أن التصريح المُولَّد سليم من حيث الأنواع، لكنه لا يتحقق من مطابقته لقصد المستخدم، ولذلك يقيس المؤلفون مدى مبالغة نجاح التصريف في تقدير الأمانة في التحويل الصوري للعبارات. يشترط معيارهم نجاح تصريف Lean واتفاق حَكَمين من نماذج اللغة الكبيرة من عائلتين مختلفتين، وهو يتفق مع أغلبية المقيّمين البشر في 91.5% من الحالات في تدقيق عشوائي مستقل. وعلى 227 عبارة بمستوى جامعي عبر ثمانية أنظمة، تتراوح الفجوة بين المخرجات التي تُصرَّف والمخرجات المقبولة من 1.3 إلى 29.5 نقطة مئوية، إذ يصرّف الوكيل المعزَّز بالأدوات 87.2% من العبارات بينما يُقبل منها 57.7% فقط.

اقرأ المصدر الأصلي ↗

جميع العناصر →