AI与世界难题 · 医学与药物研发 · Nature (computational biology) · 2026-10-21
静默评估揭示自动化指标对 AI 生成临床消息的情境依赖有效性
原标题: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages
研究人员通过分阶段推出 GPT 生成的患者门户消息草稿回复，将自动化指标（BLEU、ROUGE、BERTScore、Flesch 阅读易读度）与设盲医生评分进行了比较，比较对象为一个显示并编辑草稿的干预组和一个由医生独立撰写回复的非显示组。BERTScore 在干预组中与医生质量评分相关，但在非显示组中不相关，这表明自动化指标的有效性取决于具体情境。尽管语义得分相当，医生们仍更青睐人工撰写的消息。