AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-20

পোস্ট-সিলেকশন ডিস্ট্রিবিউশনাল মডেল মূল্যায়ন

মূল শিরোনাম: Post-Selection Distributional Model Evaluation

পারফরম্যান্স-রিলায়েবিলিটি ট্রেড-অফের উপর প্রার্থী মডেলগুলির তুলনা করতে টেস্ট-টাইম KPI ডিস্ট্রিবিউশনের নির্ভরযোগ্য অনুমান প্রয়োজন, কিন্তু মডেল প্রি-সিলেক্ট করতে এবং তাদের ডিস্ট্রিবিউশন অনুমান করতে একই ডেটা ব্যবহার করলে পোস্ট-সিলেকশন বায়াস দেখা দেয়। লেখকরা PS-DME উপস্থাপন করেছেন, যা e-values-এর উপর নির্মিত একটি ফ্রেমওয়ার্ক এবং যা যেকোনো ডেটা-নির্ভর প্রি-সিলেকশনের পরে পরিসংখ্যানগতভাবে বৈধ ডিস্ট্রিবিউশনাল মডেল মূল্যায়ন প্রদান করে, পোস্ট-সিলেকশন ফলস কভারেজ রেট নিয়ন্ত্রণ করে এবং স্পষ্ট শর্তের অধীনে একটি স্যাম্পল-স্প্লিটিং বেসলাইনের তুলনায় স্যাম্পল দক্ষতা উন্নত করে বলে প্রমাণযোগ্য। সিনথেটিক ডেটা, বড় ভাষা মডেলের সাথে text-to-SQL ডিকোডিং এবং টেলিকম নেটওয়ার্ক পারফরম্যান্স মূল্যায়নের পরীক্ষাগুলি বিভিন্ন রিলায়েবিলিটি স্তর জুড়ে প্রার্থী কনফিগারেশনের নির্ভরযোগ্য তুলনা দেখায়।

মূল লেখা পড়ুন ↗

সব আইটেম →