AI 與世界的難題 · 生命科學 · arXiv · 2026-10-22
語音的可解釋嵌入提升並解釋音訊模型的大腦編碼效能
原標題: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models
語音基礎模型日益被譽為人類語音知覺的計算模型，但其黑箱表徵讓人不清楚是什麼驅動它們與腦部反應的對齊。作者以六個可解釋特徵家族，以及 Whisper、HuBERT 與 WavLM 的嵌入（embedding）建立線性編碼模型，並劃分其與皮質腦電圖（ECoG）反應共有的變異數。這些模型與腦部的對齊大部分可由其對簡單可解釋語音特徵的編碼來解釋，且低階與高階特徵之間存在系統性的逐層取捨，而無法由較低階特徵解釋的腦相關語意，則隨模型規模與上下文長度而增加。