الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحياة · arXiv · 2026-10-22

التضمينات القابلة للتفسير للكلام تعزز وتفسّر أداء الترميز الدماغي لنماذج الصوت

العنوان الأصلي: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models

تحظى نماذج الأساس الكلامية بتقدير متزايد بوصفها نماذج حاسوبية لإدراك الكلام البشري، لكن تمثيلاتها ذات الصندوق الأسود تجعل من غير الواضح ما الذي يقود توافقها مع استجابات الدماغ. بنى المؤلفون نماذج ترميز خطية من ست عائلات من الخصائص القابلة للتفسير ومن تمثيلات Whisper وHuBERT وWavLM، وقسّموا التباين المشترك مع استجابات تخطيط الدماغ القشري (ECoG). يُفسَّر توافق النماذج مع الدماغ في معظمه بترميزها لخصائص الكلام البسيطة القابلة للتفسير، مع مقايضة منهجية بين الطبقات على حدة بين الخصائص منخفضة وعالية المستوى، في حين تزداد الدلالات الدماغية ذات الصلة التي لا تفسرها الخصائص الأدنى مستوى مع حجم النموذج وطول السياق.

اقرأ المصدر الأصلي ↗

جميع العناصر →