AI और दुनिया की कठिन समस्याएँ · जीव विज्ञान · arXiv · 2026-10-22

स्पीच की व्याख्यायोग्य एम्बेडिंग ऑडियो मॉडलों के ब्रेन-एनकोडिंग प्रदर्शन को बढ़ाती और समझाती हैं

मूल शीर्षक: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models

भाषण फ़ाउंडेशन मॉडलों को तेजी से मानव भाषण-प्रत्यक्षण के कंप्यूटेशनल मॉडल के रूप में सराहा जा रहा है, लेकिन उनके ब्लैक-बॉक्स प्रतिनिधित्वों के कारण यह स्पष्ट नहीं है कि मस्तिष्क प्रतिक्रियाओं के साथ उनके संरेखण को क्या संचालित करता है। लेखकों ने छह व्याख्या-योग्य फ़ीचर परिवारों से तथा Whisper, HuBERT और WavLM के एम्बेडिंग से रैखिक एनकोडिंग मॉडल बनाए और इलेक्ट्रोकॉर्टिकोग्राफी (ECoG) प्रतिक्रियाओं के साथ साझा वैरिएंस का विभाजन किया। मॉडलों का मस्तिष्क-संरेखण अधिकांशतः सरल, व्याख्या-योग्य भाषण फ़ीचर्स के उनके एनकोडिंग से समझाया जाता है, जिसमें निम्न- और उच्च-स्तरीय फ़ीचर्स के बीच एक व्यवस्थित परत-वार ट्रेड-ऑफ़ होता है, जबकि निम्न-स्तरीय फ़ीचर्स द्वारा व्याख्या न किए जा सकने वाले मस्तिष्क-प्रासंगिक सिमैंटिक्स मॉडल आकार और संदर्भ लंबाई के साथ बढ़ते हैं।

मूल लेख पढ़ें ↗

सभी आइटम →