AIが解く世界の難問 · 医学・創薬 · Nature (computational biology) · 2026-10-21
AI生成の臨床メッセージに対する自動評価指標の妥当性は文脈に依存する
原題: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages
患者ポータルメッセージへのGPT生成下書き回答の段階的導入を利用し、下書きを表示・編集する群と、医師が独自に回答を執筆する非表示群で、BLEU、ROUGE、BERTScore、Flesch Reading Easeと盲検下の医師評価を比較した。BERTScoreは表示群では医師の質評価と相関したが、非表示群では相関せず、自動指標の妥当性が文脈依存であることが示された。意味的スコアが同程度でも、医師は人間が執筆したメッセージをより好んだ。