AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-26

অর্থোগোনাল রিকারেন্ট নিউরাল নেটওয়ার্কের কোয়ান্টাইজেশন প্রসঙ্গে

মূল শিরোনাম: On Orthogonal Recurrent Neural Networks Quantization

অর্থোগোনাল রিকারেন্ট নিউরাল নেটওয়ার্ক দীর্ঘমেয়াদি নির্ভরতা ভালোভাবে সামলাতে পারে, কিন্তু এগুলো পূর্ণ-নির্ভুলতার ওয়েট ও অ্যাক্টিভেশন ব্যবহার করে, যা ছোট ডিভাইসে প্রয়োগে বাধা সৃষ্টি করে। লেখকেরা কোয়ান্টাইজড আনুমানিক অর্থোগোনাল RNN (QORNN) প্রস্তাব করেছেন, যেগুলো কোয়ান্টাইজেশন-সচেতন প্রশিক্ষণ ও অর্থোগোনাল প্রজেকশন একত্রে ব্যবহার করে শেখানো হয়, এবং রিকারেন্ট লুপের বিশুদ্ধ ইন্টিজার গণনার জন্য অ্যাক্টিভেশনে পোস্ট-ট্রেনিং কোয়ান্টাইজেশন প্রয়োগ করা হয়। সম্পূর্ণ কোয়ান্টাইজড মডেলগুলোই বর্তমানে একমাত্র বিকল্প যা 1000-টাইমস্টেপের Copy-টাস্ক সমাধান করে এবং পারমিউটেড MNIST ও কিছু IoT টাস্কে বিদ্যমান কোয়ান্টাইজড মডেলগুলোকে ছাড়িয়ে যায়, যদিও অন্যান্য টাস্কে এগুলো LSTM-এর মতো গেটেড RNN-এর চেয়ে কম কার্যকর।

মূল লেখা পড়ুন ↗

সব আইটেম →