AI এবং বিশ্বের কঠিন সমস্যাগুলো · জীবনবিজ্ঞান · arXiv · 2026-10-22

বাক্‌-এর ব্যাখ্যাযোগ্য এমবেডিং অডিও মডেলগুলির ব্রেন এনকোডিং কার্যক্ষমতা বাড়ায় ও ব্যাখ্যা করে

মূল শিরোনাম: Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models

স্পিচ ফাউন্ডেশন মডেলগুলিকে ক্রমশ মানুষের বাক্ প্রত্যক্ষণের গণনামূলক মডেল হিসেবে সমাদৃত করা হচ্ছে, কিন্তু তাদের ব্ল্যাক-বক্স উপস্থাপনার কারণে মস্তিষ্কের প্রতিক্রিয়ার সঙ্গে তাদের সামঞ্জস্য কী দ্বারা পরিচালিত হয় তা স্পষ্ট হয় না। গবেষকরা ছয়টি ব্যাখ্যাযোগ্য ফিচার পরিবার এবং Whisper, HuBERT ও WavLM-এর এমবেডিং থেকে রৈখিক এনকোডিং মডেল তৈরি করে ইলেকট্রোকর্টিকোগ্রাফি (ECoG) প্রতিক্রিয়ার সঙ্গে ভাগ হওয়া ভেরিয়েন্স বিভাজন করেছেন। মডেলগুলির মস্তিষ্ক-সামঞ্জস্য মূলত সহজ, ব্যাখ্যাযোগ্য বাক্ ফিচারগুলির এনকোডিং দ্বারা ব্যাখ্যা করা হয়, যেখানে নিম্ন- ও উচ্চ-স্তরের ফিচারগুলির মধ্যে একটি পদ্ধতিগত স্তর-ভিত্তিক ট্রেড-অফ থাকে, অন্যদিকে নিম্ন-স্তরের ফিচার দ্বারা ব্যাখ্যা করা যায় না এমন মস্তিষ্ক-সম্পর্কিত শব্দার্থ মডেলের আকার এবং প্রসঙ্গ-দৈর্ঘ্যের সঙ্গে বৃদ্ধি পায়।

মূল লেখা পড়ুন ↗

সব আইটেম →