ИИ и сложнейшие проблемы мира · Науки о жизни · arXiv · 2026-10-22
Интерпретируемые эмбеддинги речи улучшают и объясняют показатели аудиомоделей в кодировании мозговой активности
Оригинальное название: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models
Речевые фундаментальные модели всё чаще провозглашаются вычислительными моделями восприятия человеческой речи, но их представления типа «чёрного ящика» оставляют неясным, что обусловливает их согласованность с реакциями мозга. Авторы построили линейные модели кодирования на основе шести интерпретируемых семейств признаков и на эмбеддингах Whisper, HuBERT и WavLM и разложили дисперсию, общую с откликами электрокортикографии (ECoG). Согласованность моделей с мозгом в основном объясняется кодированием ими простых интерпретируемых признаков речи, при этом наблюдается систематический послойный компромисс между признаками низкого и высокого уровня, а релевантная для мозга семантика, не объяснимая признаками более низкого уровня, растёт с увеличением размера модели и длины контекста.