الذكاء الاصطناعي ومشكلات العالم الصعبة · الطب واكتشاف الأدوية · Nature (computational biology) · 2026-10-21

يكشف التقييم الصامت عن أن صلاحية المقاييس الآلية للرسائل السريرية المولَّدة بالذكاء الاصطناعي تتوقف على السياق

العنوان الأصلي: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages

باستخدام طرح مرحلي لمسودات ردود منشأة بواسطة GPT على رسائل بوابة المرضى، قارن الباحثون بين المقاييس الآلية (BLEU وROUGE وBERTScore وFlesch Reading Ease) وتقييمات معمّاة من الأطباء في مجموعة تدخّل عُرضت فيها المسودات وحُرِّرت، ومجموعة عدم العرض التي ألّف فيها الأطباء الردود بشكل مستقل. ارتبط BERTScore بتقييمات الأطباء للجودة في مجموعة التدخل لكنه لم يرتبط بها في مجموعة عدم العرض، مما يُظهر أن صلاحية المقاييس الآلية تعتمد على السياق. ورغم تكافؤ الدرجات الدلالية، فضّل الأطباء الرسائل من إنشاء بشري.

اقرأ المصدر الأصلي ↗

جميع العناصر →