ИИ и сложнейшие проблемы мира · Науки о жизни · arXiv · 2026-10-19
Согласованные с мозгом мультимодальные LLM для понимания социальных и эмоциональных аспектов мультфильмов
Оригинальное название: Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies
Мультимодальные большие языковые модели могут аннотировать социальное и эмоциональное содержание в больших масштабах, но их согласованность с человеческими оценками и польза для предсказания реакций мозга требовали проверки. Авторы сравнили диффузионные и авторегрессионные модели с непрерывными человеческими оценками теории разума и аффективной валентности на трёх коротких мультфильмах. Оценки моделей отражали некоторые аспекты временной изменчивости человеческих оценок, причём согласованность была сильнее для валентности, чем для теории разума; при этом в одном из фильмов оценки моделей значимо кодировались в большем числе областей мозга, чем оценки людей, а пересечение между ними было ограниченным.