KI und die schwierigen Probleme der Welt · Medizin & Wirkstoffforschung · Nature (computational biology) · 2026-10-21
Stille Evaluation offenbart die kontextabhängige Gültigkeit automatisierter Metriken für KI-generierte klinische Nachrichten
Originaltitel: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages
Anhand eines gestaffelten Rollouts von GPT-generierten Antwortentwürfen auf Nachrichten in einem Patientenportal verglichen Forschende automatisierte Metriken (BLEU, ROUGE, BERTScore, Flesch Reading Ease) mit verblindeten Bewertungen von Ärztinnen und Ärzten – und zwar in einer Interventionsgruppe, in der Entwürfe angezeigt und bearbeitet wurden, sowie in einer Nichtanzeige-Gruppe, in der die Ärztinnen und Ärzte die Antworten eigenständig verfassten. BERTScore korrelierte in der Interventionsgruppe mit den Qualitätsbewertungen der Ärztinnen und Ärzte, in der Nichtanzeige-Gruppe jedoch nicht, was zeigt, dass automatisierte Metriken eine kontextabhängige Validität besitzen. Trotz vergleichbarer semantischer Scores bevorzugten die Ärztinnen und Ärzte menschlich verfasste Nachrichten.