AIが解く世界の難問 · 生命科学 · arXiv · 2026-10-22
音声の解釈可能な埋め込みが音声モデルの脳エンコーディング性能を高め、説明する
原題: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models
音声基盤モデルはヒトの音声知覚の計算モデルとして注目されるが、その表現がブラックボックスであるため、脳応答との整合を何が支えているかは不明であった。melスペクトログラム、Gaborフィルタバンク、音韻・統語・意味特徴などの6種類の解釈可能な特徴群と、Whisper・HuBERT・WavLMという3つの基盤モデルの埋め込みから線形エンコーディングモデルを構築し、ECoG応答の分散を分割分析した。その結果、基盤モデルと脳の整合は主として単純で解釈可能な音声特徴の学習で説明でき、層ごとに脳関連の低次・高次特徴の間でトレードオフがあり、低次特徴では説明できない脳関連の意味表現はモデル規模と文脈長の増大とともに強まることが分かった。