AI और दुनिया की कठिन समस्याएँ · चिकित्सा और दवा खोज · Nature (computational biology) · 2026-10-21

मौन मूल्यांकन AI-जनित क्लिनिकल संदेशों के लिए स्वचालित मीट्रिक्स की संदर्भ-निर्भर वैधता को प्रकट करता है

मूल शीर्षक: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages

रोगी पोर्टल संदेशों के लिए GPT-जनरेटेड मसौदा जवाबों की चरणबद्ध रोलआउट (staged rollout) के उपयोग के माध्यम से शोधकर्ताओं ने स्वचालित मैट्रिक्स (BLEU, ROUGE, BERTScore, Flesch Reading Ease) की तुलना अंध-परीक्षित (blinded) चिकित्सक रेटिंग्स से की — एक हस्तक्षेप समूह में, जहाँ मसौदे दिखाए और संपादित किए गए, तथा एक गैर-प्रदर्शित समूह में, जहाँ चिकित्सकों ने स्वतंत्र रूप से जवाब तैयार किए। BERTScore का हस्तक्षेप समूह में चिकित्सकों की गुणवत्ता रेटिंग्स से सहसंबंध पाया गया, लेकिन गैर-प्रदर्शित समूह में नहीं, जिससे पता चला कि स्वचालित मैट्रिक्स की वैधता संदर्भ पर निर्भर करती है। तुलनीय सिमेंटिक स्कोर के बावजूद, चिकित्सकों ने मानव-लिखित संदेशों को वरीयता दी।

मूल लेख पढ़ें ↗

सभी आइटम →