AI dan Masalah-Masalah Sulit Dunia · Kedokteran & penemuan obat · Nature (computational biology) · 2026-10-21
Evaluasi senyap mengungkap validitas metrik otomatis yang bergantung pada konteks untuk pesan klinis yang dihasilkan AI
Judul asli: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages
Dengan menggunakan peluncuran bertahap draf balasan yang dihasilkan GPT untuk pesan portal pasien, para peneliti membandingkan metrik otomatis (BLEU, ROUGE, BERTScore, Flesch Reading Ease) dengan penilaian dokter secara buta dalam kelompok intervensi tempat draf ditampilkan dan disunting, serta kelompok tanpa tampilan tempat para dokter menyusun balasan secara independen. BERTScore berkorelasi dengan penilaian kualitas dokter pada kelompok intervensi tetapi tidak pada kelompok tanpa tampilan, yang menunjukkan bahwa metrik otomatis memiliki validitas yang bergantung pada konteks. Meskipun skor semantiknya sebanding, para dokter lebih menyukai pesan yang ditulis oleh manusia.