KI und die schwierigen Probleme der Welt · Lebenswissenschaften · arXiv · 2026-10-19
Gehirnausgerichtete multimodale LLMs zum sozialen und emotionalen Verständnis von Zeichentrickfilmen
Originaltitel: Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies
Multimodale große Sprachmodelle können soziale und emotionale Inhalte in großem Maßstab annotieren, doch ihre Übereinstimmung mit menschlichen Urteilen und ihr Nutzen für die Vorhersage von Gehirnreaktionen mussten erst geprüft werden. Die Autoren verglichen diffusionsbasierte und autoregressive Modelle mit kontinuierlichen menschlichen Bewertungen von Theory of Mind und affektiver Valenz in drei kurzen Zeichentrickfilmen. Die Modellbewertungen erfassten Aspekte der zeitlichen Variation menschlicher Bewertungen, wobei die Übereinstimmung bei der Valenz stärker war als bei Theory of Mind; in einem Film wurden zudem mehr Hirnregionen signifikant durch Modellbewertungen kodiert als durch menschliche Bewertungen, und die Überlappung zwischen beiden war begrenzt.