AI এবং বিশ্বের কঠিন সমস্যাগুলো · গণিত · arXiv · 2026-10-19

কম্পাইলেশনের বাইরে: বিশ্বস্ত প্রাকৃতিক-ভাষা থেকে Lean বিবৃতি ফর্মালাইজেশনের মূল্যায়ন

মূল শিরোনাম: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization

Lean যাচাই করে যে একটি তৈরি করা ঘোষণা (declaration) সঠিকভাবে টাইপ করা হয়েছে, কিন্তু সেটি ব্যবহারকারীর অভিপ্রায়ের সঙ্গে মেলে কি না তা যাচাই করে না। তাই লেখকেরা পরিমাপ করেছেন স্টেটমেন্ট অটোফর্মালাইজেশনে কম্পাইলেশন কতটা বেশি করে বিশ্বস্ততা দেখায়। তাঁদের মানদণ্ডে Lean কম্পাইলেশন এবং ভিন্ন মডেল পরিবারের দুটি LLM বিচারকের সম্মতি প্রয়োজন, এবং একটি স্বতন্ত্র র‍্যান্ডম অডিটে এটি ৯১.৫% ক্ষেত্রে মানব সংখ্যাগরিষ্ঠের সঙ্গে একমত। আটটি সিস্টেম জুড়ে ২২৭টি বিশ্ববিদ্যালয়-স্তরের স্টেটমেন্টে কম্পাইল হওয়া ও গৃহীত আউটপুটের মধ্যে পার্থক্য ১.৩ থেকে ২৯.৫ শতাংশ পয়েন্ট পর্যন্ত, যেখানে টুল-সমৃদ্ধ এজেন্ট ৮৭.২% স্টেটমেন্ট কম্পাইল করলেও মাত্র ৫৭.৭% গৃহীত হয়েছে।

মূল লেখা পড়ুন ↗

সব আইটেম →