ИИ и сложнейшие проблемы мира · Медицина и разработка лекарств · Nature (computational biology) · 2026-10-21
Молчаливое оценивание выявляет зависящую от контекста валидность автоматических метрик для клинических сообщений, сгенерированных ИИ
Оригинальное название: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages
С использованием поэтапного внедрения сгенерированных GPT черновиков ответов на сообщения в портале для пациентов исследователи сравнили автоматические метрики (BLEU, ROUGE, BERTScore, Flesch Reading Ease) с оценками врачей, выставленными вслепую, в интервенционной группе, где черновики отображались и редактировались, и в группе без отображения, где врачи составляли ответы самостоятельно. BERTScore коррелировал с оценками качества врачей в интервенционной группе, но не в группе без отображения, что свидетельствует о зависимости валидности автоматических метрик от контекста. Несмотря на сопоставимые семантические оценки, врачи предпочитали сообщения, написанные людьми.