AI na Matatizo Magumu ya Ulimwengu · Sayansi za maisha · arXiv · 2026-10-19
MLLM za Multimodali Zilizooanishwa na Ubongo kwa Uelewa wa Kijamii na Kihisia wa Filamu za Katuni
Kichwa asilia: Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies
Miundo mikubwa ya lugha ya aina nyingi (multimodal) inaweza kuweka maelezo ya maudhui ya kijamii na kihisia kwa kiwango kikubwa, lakini ulinganifu wake na hukumu za binadamu na thamani yake katika kutabiri mwitikio wa ubongo ulihitaji kujaribiwa. Waandishi walilinganisha miundo inayotegemea usambaaji (diffusion) na ile ya autoregressive na ukadiriaji endelevu wa binadamu wa Nadharia ya Akili (Theory of Mind) na valensi ya hisia katika filamu tatu fupi za katuni. Ukadiriaji wa miundo ulinasa vipengele vya mabadiliko ya binadamu kwa muda, kukiwa na ulinganifu wenye nguvu zaidi kwa valensi kuliko kwa Nadharia ya Akili, huku katika filamu moja maeneo mengi zaidi ya ubongo yakisimbwa kwa umuhimu wa kitakwimu na ukadiriaji wa miundo kuliko wa binadamu, na mwingiliano kati ya hayo mawili ulikuwa mdogo.