IA e os Problemas Difíceis do Mundo · Medicina e descoberta de medicamentos · Nature (computational biology) · 2026-10-21
Avaliação silenciosa revela validade dependente de contexto das métricas automatizadas para mensagens clínicas geradas por IA
Título original: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages
Usando uma implantação escalonada de rascunhos de respostas gerados por GPT para mensagens de um portal de pacientes, pesquisadores compararam métricas automatizadas (BLEU, ROUGE, BERTScore, Flesch Reading Ease) com avaliações cegas de médicos em um grupo de intervenção, no qual os rascunhos eram exibidos e editados, e um grupo sem exibição, no qual os médicos redigiam as respostas de forma independente. O BERTScore correlacionou-se com as avaliações de qualidade dos médicos no grupo de intervenção, mas não no grupo sem exibição, mostrando que as métricas automatizadas têm validade dependente do contexto. Apesar de pontuações semânticas comparáveis, os médicos preferiram mensagens escritas por humanos.