AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-20

মাল্টি-হেড অ্যাটেনশনের প্রকাশক্ষমতা বিশ্লেষণের জন্য আনুষ্ঠানিকভাবে যাচাইকৃত অটোরিসার্চ

মূল শিরোনাম: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention

এই গবেষণায় দেখা হয়েছে যে একটি এক-স্তরের, শুধু-অ্যাটেনশন ট্রান্সফর্মারকে একটি বুলিয়ান ফাংশন উপস্থাপন করতে কতগুলো অ্যাটেনশন হেড লাগে, যাকে হেড জটিলতা বলা হয়। লেখকেরা একটি সুনির্দিষ্ট নর্মাল ফর্ম নির্ণয় করেছেন, একটি থ্রেশহোল্ড-ডিগ্রি নিম্নসীমা প্রমাণ করেছেন এবং দেখিয়েছেন যে প্রতিসম ফাংশনের ক্ষেত্রে হেড জটিলতা হ্যামিং-ওয়েট স্তরগুলোর মধ্যে মান পরিবর্তনের সংখ্যার সমান। একটি ফ্রন্টিয়ার মডেল অনুমান ও প্রমাণ তৈরি করেছে, যা Lean-এ মেশিন দ্বারা যাচাই করা হয়েছে; মানব গবেষকেরা প্রশ্ন করেছেন এবং ফলাফল পর্যালোচনা করেছেন।

মূল লেখা পড়ুন ↗

সব আইটেম →