AI na Matatizo Magumu ya Ulimwengu · Tiba na ugunduzi wa dawa · Nature (computational biology) · 2026-10-21
Tathmini ya Kimya Inafichua Uhalali Unaotegemea Muktadha wa Vipimo vya Kiotomatiki kwa Ujumbe wa Kliniki Unaotengenezwa na AI
Kichwa asilia: Silent evaluation reveals context-dependent validity of automated metrics for AI-generated clinical messages
Kwa kutumia utekelezaji wa hatua kwa hatua wa majibu ya rasimu yaliyotengenezwa na GPT kwa ujumbe wa lango la wagonjwa, watafiti walilinganisha vipimo vya kiotomatiki (BLEU, ROUGE, BERTScore, Flesch Reading Ease) na tathmini za madaktari waliofanyiwa kupofusha katika kundi la uingiliaji ambapo rasimu zilionyeshwa na kuhaririwa, na kundi lisiloonyeshwa ambapo madaktari walitunga majibu kwa uhuru. BERTScore ilihusiana na tathmini za ubora wa madaktari katika kundi la uingiliaji ila si katika kundi lisiloonyeshwa, jambo linaloonyesha kuwa vipimo vya kiotomatiki vina uhalali unaotegemea muktadha. Licha ya alama za kimantiki zinazofanana, madaktari walipendelea ujumbe ulioandikwa na wanadamu.