AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-22

জ্যামিতিক জ্ঞান স্পেস, অ্যাটেনশন পেয়ারিং এবং আর্কিটেকচার

মূল শিরোনাম: Geometric knowledge spaces, Attention pairing and Architectures

পেপারটি অ্যাটেনশন মেকানিজম প্রতিপাদন এবং সম্ভাব্য নতুন ট্রান্সফরমার আর্কিটেকচার অন্বেষণের জন্য একটি জ্যামিতিক পদ্ধতি প্রস্তাব করে। এটি জ্ঞান-জগৎ এবং অ্যাটেনশন পেয়ারিংয়ের ধারণাগুলোকে আনুষ্ঠানিক রূপ দেয়, তারপর দেখায় যে এই ফ্রেমওয়ার্ক স্বাভাবিকভাবেই স্ট্যান্ডার্ড অ্যাটেনশন, কজ্যুয়াল অ্যাটেনশন, লিনিয়ার অ্যাটেনশন, টেনসর অ্যাটেনশন এবং রিকারেন্ট নিউরাল নেটওয়ার্কের আর্কিটেকচারে পৌঁছায়। পরিশেষে, এটি কয়েকটি নতুন জ্যামিতিক স্পেসের পরিচয় দেয়, যা নতুন ধরনের নিউরাল নেটওয়ার্ক আর্কিটেকচারের অনুপ্রেরণা দিতে পারে।

মূল লেখা পড়ুন ↗

সব আইটেম →