L'IA face aux grands problèmes du monde · Médecine et découverte de médicaments · Nature (computational biology) · 2026-10-21
L'évaluation silencieuse révèle la validité dépendante du contexte des métriques automatisées pour les messages cliniques générés par l'IA
Titre original: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages
En s'appuyant sur un déploiement progressif de réponses provisoires générées par GPT aux messages d'un portail patient, des chercheurs ont comparé des métriques automatisées (BLEU, ROUGE, BERTScore, Flesch Reading Ease) aux évaluations à l'aveugle de médecins dans un groupe d'intervention où les ébauches étaient affichées et modifiées, et un groupe sans affichage où les médecins rédigeaient les réponses de manière indépendante. Le BERTScore était corrélé avec les évaluations de qualité des médecins dans le groupe d'intervention, mais pas dans le groupe sans affichage, ce qui montre que la validité des métriques automatisées dépend du contexte. Malgré des scores sémantiques comparables, les médecins préféraient les messages rédigés par des humains.