AI dan Masalah-Masalah Sulit Dunia · Ilmu hayat · arXiv · 2026-10-19
LLM Multimodal yang Selaras dengan Otak untuk Pemahaman Sosial dan Emosional pada Film Kartun
Judul asli: Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies
Model bahasa besar multimodal dapat menganotasi konten sosial dan emosional dalam skala besar, tetapi kesesuaiannya dengan penilaian manusia dan nilainya untuk memprediksi respons otak masih perlu diuji. Para penulis membandingkan model berbasis difusi dan model autoregresif dengan penilaian manusia yang kontinu terhadap Theory of Mind dan valensi afektif pada tiga film kartun pendek. Penilaian model menangkap sebagian aspek variasi temporal manusia, dengan keselarasan yang lebih kuat untuk valensi daripada untuk Theory of Mind, sementara pada satu film lebih banyak wilayah otak yang dienkode secara signifikan oleh penilaian model daripada oleh penilaian manusia, dan tumpang tindih di antara keduanya terbatas.