IA e os Problemas Difíceis do Mundo · Ciências da vida · arXiv · 2026-10-22
Embeddings Interpretáveis de Fala Aprimoram e Explicam o Desempenho de Codificação Cerebral de Modelos de Áudio
Título original: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models
Os modelos fundacionais de fala são cada vez mais saudados como modelos computacionais da percepção da fala humana, mas suas representações de caixa-preta tornam pouco claro o que impulsiona seu alinhamento com as respostas cerebrais. Os autores construíram modelos lineares de codificação a partir de seis famílias de características interpretáveis e a partir dos embeddings de Whisper, HuBERT e WavLM, e particionaram a variância compartilhada com as respostas de eletrocorticografia (ECoG). O alinhamento cerebral dos modelos é explicado principalmente pela codificação de características simples e interpretáveis da fala, com um trade-off sistemático camada a camada entre características de baixo e de alto nível, enquanto a semântica relevante para o cérebro, não explicável por características de nível mais baixo, aumenta com o tamanho do modelo e o comprimento do contexto.