La IA y los problemas difíciles del mundo · Ciencias de la vida · arXiv · 2026-10-22
Los embeddings interpretables del habla mejoran y explican el rendimiento de codificación cerebral de los modelos de audio
Título original: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models
Los modelos fundacionales del habla son cada vez más aclamados como modelos computacionales de la percepción del habla humana, pero sus representaciones de caja negra hacen que no esté claro qué impulsa su alineación con las respuestas cerebrales. Los autores construyeron modelos de codificación lineales a partir de seis familias de características interpretables y de los embeddings de Whisper, HuBERT y WavLM, y particionaron la varianza compartida con las respuestas de electrocorticografía (ECoG). La alineación cerebral de los modelos se explica en su mayoría por su codificación de características del habla simples e interpretables, con un compromiso sistemático capa a capa entre características de bajo y alto nivel, mientras que la semántica relevante para el cerebro no explicable por características de nivel inferior aumenta con el tamaño del modelo y la longitud del contexto.