AI 與世界的難題 · 生命科學 · arXiv · 2026-10-19
與大腦對齊的多模態大型語言模型:用於理解卡通電影中的社交與情緒
原標題: Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies
多模態大型語言模型能夠大規模標註社會與情緒內容，但其與人類判斷的一致性，以及對預測腦部反應的價值仍有待檢驗。作者將以擴散為基礎與自迴歸的模型，與人類對三部短篇卡通電影中心智理論及情感效價所做的連續評分進行比較。模型評分捕捉到人類時間變化的部分面向，其中與效價的一致性高於與心智理論的一致性；在其中一部電影中，經模型評分而顯著編碼的腦區多於經人類評分者，且兩者之間的重疊有限。