AI na Matatizo Magumu ya Ulimwengu · Sayansi za maisha · arXiv · 2026-10-22
Uwakilishi wa Hotuba Unaoelezeka Huimarisha na Kueleza Utendaji wa Usimbaji wa Ubongo wa Modeli za Sauti
Kichwa asilia: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models
Miundo ya msingi ya hotuba inazidi kupongezwa kama mifano ya ukokotoaji ya mtambuzi wa hotuba wa binadamu, lakini uwakilishi wao wa 'black-box' hufanya kuwa haieleweki nini kinaendesha ulinganifu wao na majibu ya ubongo. Waandishi walijenga mifano ya usimbaji wa mstari kutoka kwa familia sita za vipengele vinavyoelezeka na kutoka kwa embeddings za Whisper, HuBERT, na WavLM, na kugawanya variance iliyoshirikiwa na majibu ya electrocorticography (ECoG). Ulinganifu wa ubongo wa mifano hii kwa kiasi kikubwa unaelezwa na usimbaji wao wa vipengele rahisi vya hotuba vinavyoelezeka, huku kukiwa na mabadilishano ya kimfumo ya kila tabaka kati ya vipengele vya kiwango cha chini na cha juu, wakati maana yanayohusiana na ubongo yasiyoelezeka na vipengele vya kiwango cha chini huongezeka kadiri ukubwa wa mfano na urefu wa muktadha vinavyoongezeka.