L'IA face aux grands problèmes du monde · Sciences du vivant · arXiv · 2026-10-19
Des LLM multimodaux alignés sur le cerveau pour la compréhension sociale et émotionnelle des films d'animation
Titre original: Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies
Les grands modèles de langage multimodaux peuvent annoter à grande échelle le contenu social et émotionnel, mais leur concordance avec les jugements humains et leur utilité pour prédire les réponses cérébrales restaient à tester. Les auteurs ont comparé des modèles basés sur la diffusion et des modèles autorégressifs à des évaluations humaines continues de la théorie de l'esprit et de la valence affective sur trois courts films d'animation. Les évaluations des modèles reflétaient certains aspects de la variation temporelle humaine, avec un alignement plus fort pour la valence que pour la théorie de l'esprit ; dans un film, davantage de régions cérébrales étaient encodées de manière significative par les évaluations des modèles que par celles des humains, et le recouvrement entre les deux était limité.