AIが解く世界の難問 · 生命科学 · arXiv · 2026-10-19
脳と整合する多モーダルLLMによる漫画映画の社会的・感情的理解
原題: Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies
多モーダル大規模言語モデル（MLLM）は社会的・感情的内容を大量にアノテーションできるが、人間の判断との時間的一致や脳の予測力は検証が必要だった。本研究では、拡散型と自己回帰型のMLLMを、3本の短編漫画映画に対する人間の心の理論（ToM）と感情価（valence）の連続評価と比較した。MLLMの評価は人間の時間的変動をある程度捉え、感情価の方がToMより一致度が高かった一方、人間とモデルの評価の重なりは限られていた。