L'IA face aux grands problèmes du monde · Sciences du vivant · arXiv · 2026-10-22
Des embeddings interprétables de la parole améliorent et expliquent les performances d'encodage cérébral des modèles audio
Titre original: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models
Les modèles de fondation pour la parole sont de plus en plus salués comme des modèles computationnels de la perception de la parole humaine, mais leurs représentations en boîte noire rendent incertain ce qui sous-tend leur alignement avec les réponses cérébrales. Les auteurs ont construit des modèles d'encodage linéaires à partir de six familles de caractéristiques interprétables et des embeddings de Whisper, HuBERT et WavLM, et ont partitionné la variance partagée avec les réponses d'électrocorticographie (ECoG). L'alignement cérébral de ces modèles s'explique principalement par leur encodage de caractéristiques de parole simples et interprétables, avec un compromis systématique, couche par couche, entre caractéristiques de bas et de haut niveau, tandis que la sémantique pertinente pour le cerveau, non explicable par les caractéristiques de niveau inférieur, augmente avec la taille du modèle et la longueur du contexte.