AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · Anthropic · 2026-09-28

ট্রান্সফরমার রেসিডুয়াল স্ট্রিমে বিশেষাধিকারপ্রাপ্ত ভিত্তি

মূল শিরোনাম: Privileged bases in the transformer residual stream

এই গবেষণা পরীক্ষা করে ট্রান্সফরমার রেসিডুয়াল স্ট্রিমের পৃথক স্থানাঙ্কগুলো কেন বিশেষাধিকারপ্রাপ্ত ভিত্তির আচরণ দেখায়, অথচ তত্ত্ব অনুযায়ী সেগুলো যথেচ্ছ হওয়ার কথা। লেখকরা সাময়িকভাবে এই প্রভাবের কারণ হিসেবে Adam অপটিমাইজারের প্রতি-মাত্রার নর্মালাইজারকে দায়ী করেছেন। লেয়ার নর্মালাইজেশন এবং সীমিত-নির্ভুলতার ফ্লোটিং-পয়েন্ট পাটিগণিত উৎস হিসেবে বাদ দেওয়া হয়েছে।

মূল লেখা পড়ুন ↗

সব আইটেম →