AI 與世界的難題 · 醫學與藥物探索 · Nature (computational biology) · 2026-10-21
靜默評估揭示 AI 生成臨床訊息之自動化指標的效度取決於情境
原標題: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages
研究人員利用分階段部署針對病患入口網站訊息的 GPT 產生回覆草稿,將自動化指標(BLEU、ROUGE、BERTScore、Flesch Reading Ease)與盲評的醫師評分進行比較,比較對象為會顯示並編輯草稿的介入組,以及由醫師獨立撰寫回覆的未顯示組。BERTScore 在介入組中與醫師的品質評分相關,但在未顯示組中則否,顯示自動化指標的效度取決於情境。儘管語意分數相近,醫師仍偏好由人類撰寫的訊息。