AI dan Masalah-Masalah Sulit Dunia · Ilmu hayat · arXiv · 2026-10-22
Embedding Ucapan yang Interpretable Meningkatkan dan Menjelaskan Kinerja Enkoding Otak dari Model Audio
Judul asli: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models
Model fondasi suara semakin dipuji sebagai model komputasional dari persepsi suara manusia, tetapi representasi kotak hitamnya membuat tidak jelas apa yang mendorong keselarasan mereka dengan respons otak. Para penulis membangun model penyandangan (encoding) linier dari enam keluarga fitur yang dapat diinterpretasikan dan dari embedding Whisper, HuBERT, dan WavLM, serta mempartisi varians yang dimiliki bersama dengan respons elektrokortikografi (ECoG). Keselarasan otak dari model-model tersebut sebagian besar dijelaskan oleh penyandangan mereka terhadap fitur suara sederhana yang dapat diinterpretasikan, dengan trade-off sistematis per lapisan antara fitur tingkat rendah dan tingkat tinggi, sementara semantik yang relevan bagi otak dan tidak dapat dijelaskan oleh fitur tingkat lebih rendah meningkat seiring dengan ukuran model dan panjang konteks.