La IA y los problemas difíciles del mundo · Medicina y descubrimiento de fármacos · Nature (computational biology) · 2026-10-21
La evaluación silenciosa revela la validez dependiente del contexto de las métricas automatizadas para mensajes clínicos generados por IA
Título original: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages
Mediante un despliegue escalonado de respuestas borrador generadas por GPT para los mensajes del portal de pacientes, los investigadores compararon métricas automatizadas (BLEU, ROUGE, BERTScore, Flesch Reading Ease) con evaluaciones cegadas de médicos en un grupo de intervención en el que los borradores se mostraban y editaban, y un grupo sin visualización en el que los médicos redactaban las respuestas de forma independiente. BERTScore se correlacionó con las calificaciones de calidad de los médicos en el grupo de intervención, pero no en el grupo sin visualización, lo que muestra que las métricas automatizadas tienen una validez dependiente del contexto. A pesar de obtener puntuaciones semánticas comparables, los médicos prefirieron los mensajes redactados por humanos.