AI与世界难题 · 生命科学 · arXiv · 2026-10-22
语音的可解释嵌入提升并解释音频模型的大脑编码性能
原标题: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models
语音基础模型日益被誉为人类言语感知的计算模型，但其黑箱表示使人不清楚究竟是什么驱动了它们与大脑响应的对齐。作者基于六个可解释特征族以及 Whisper、HuBERT 和 WavLM 的嵌入构建了线性编码模型，并对与脑皮层电图（ECoG）响应共享的方差进行了划分。这些模型与大脑的对齐主要由其对简单可解释语音特征的编码所解释，低层特征与高层特征之间存在系统性的逐层权衡，而无法由低层特征解释的大脑相关语义则随模型规模和上下文长度的增加而增加。