AI اور دنیا کے مشکل مسائل · طب اور دوا کی دریافت · Nature (computational biology) · 2026-10-21

خاموش جائزہ ظاہر کرتا ہے کہ AI سے تیار کردہ طبی پیغامات کے لیے خودکار میٹرکس کی درستگی سیاق و سباق پر منحصر ہے

اصل عنوان: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages

GPT کی جانب سے تیار کردہ مریض پورٹل پیغامات کے مسودہ جوابات کے مرحلہ وار نفاذ کے ذریعے، محققین نے خودکار میٹرکس (BLEU, ROUGE, BERTScore, Flesch Reading Ease) کا موازنہ خفیہ انداز میں معالجوں کی دی گئی درجہ بندی سے کیا، ایک مداخلت والے گروپ میں جہاں مسودے ظاہر کیے گئے اور ان میں ترمیم کی گئی، اور ایک غیر ظاہر شدہ گروپ میں جہاں معالجوں نے جوابات آزادانہ طور پر تحریر کیے۔ BERTScore کا تعلق مداخلت والے گروپ میں معالجوں کی کوالٹی کی درجہ بندی سے پایا گیا لیکن غیر ظاہر شدہ گروپ میں نہیں، جس سے ظاہر ہوا کہ خودکار میٹرکس کا اعتبار سیاق و سباق پر منحصر ہوتا ہے۔ قابلِ موازنہ سیمینٹک اسکورز کے باوجود، معالجوں نے انسانی تحریر کردہ پیغامات کو ترجیح دی۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →