KI und die schwierigen Probleme der Welt · Lebenswissenschaften · arXiv · 2026-10-22
Interpretierbare Spracheinbettungen verbessern und erklären die Hirn-Encoding-Leistung von Audiomodellen
Originaltitel: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models
Speech-Foundation-Modelle werden zunehmend als Computermodelle der menschlichen Sprachwahrnehmung gefeiert, doch ihre Black-Box-Repräsentationen machen unklar, was ihre Übereinstimmung mit Hirnantworten bestimmt. Die Autoren erstellten lineare Encoding-Modelle aus sechs interpretierbaren Merkmalsfamilien sowie aus Embeddings von Whisper, HuBERT und WavLM und zerlegten die Varianz, die diese mit elektrokortikographischen (ECoG)-Antworten teilen. Die Hirnübereinstimmung der Modelle lässt sich größtenteils durch ihre Kodierung einfacher, interpretierbarer Sprachmerkmale erklären, mit einem systematischen schichtweisen Trade-off zwischen Low- und High-Level-Merkmalen, während hirnrelevante Semantik, die durch Merkmale niedrigerer Ebenen nicht erklärbar ist, mit Modellgröße und Kontextlänge zunimmt.