AI এবং বিশ্বের কঠিন সমস্যাগুলো · চিকিৎসা ও ওষুধ আবিষ্কার · Nature (computational biology) · 2026-10-21

নীরব মূল্যায়ন AI-জেনারেটেড ক্লিনিকাল বার্তার জন্য স্বয়ংক্রিয় মেট্রিকগুলোর প্রসঙ্গ-নির্ভর বৈধতা প্রকাশ করে

মূল শিরোনাম: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages

রোগীদের পোর্টাল বার্তার উত্তর হিসেবে GPT-তৈরি খসড়া প্রতিক্রিয়ার একটি ধাপে ধাপে (স্টেজড) রোলআউট ব্যবহার করে গবেষকরা স্বয়ংক্রিয় মেট্রিকগুলোর (BLEU, ROUGE, BERTScore, Flesch Reading Ease) তুলনা করেছেন চিকিৎসকদের ব্লাইন্ডেড (অজ্ঞাতসার্থ) মূল্যায়নের সঙ্গে — একটি হস্তক্ষেপ দলে, যেখানে খসড়াগুলো দেখানো হয় ও সম্পাদনা করা হয়, এবং একটি অ-প্রদর্শিত দলে, যেখানে চিকিৎসকরা স্বাধীনভাবে উত্তর রচনা করেন। BERTScore হস্তক্ষেপ দলে চিকিৎসকদের গুণগত মানের মূল্যায়নের সঙ্গে সম্পর্কযুক্ত ছিল, কিন্তু অ-প্রদর্শিত দলে ছিল না — যা দেখায় যে স্বয়ংক্রিয় মেট্রিকগুলোর বৈধতা প্রেক্ষাপট-নির্ভর। অর্থগত স্কোর তুলনীয় হওয়া সত্ত্বেও চিকিৎসকরা মানবরচিত বার্তাগুলোই পছন্দ করেন।

মূল লেখা পড়ুন ↗

সব আইটেম →