AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-26

آرتھوگونل ریکرنٹ نیورل نیٹ ورکس کی کوانٹائزیشن پر

اصل عنوان: On Orthogonal Recurrent Neural Networks Quantization

آرتھوگونل ریکرنٹ نیورل نیٹ ورکس طویل مدتی انحصارات کو اچھی طرح سنبھالتے ہیں لیکن مکمل درستگی والے وزن اور ایکٹیویشنز استعمال کرتے ہیں، جو چھوٹے آلات پر تعیناتی میں رکاوٹ بنتا ہے۔ مصنفین کوانٹائزڈ تقریباً آرتھوگونل RNNs (QORNNs) تجویز کرتے ہیں، جنہیں وہ کوانٹائزیشن سے آگاہ تربیت اور آرتھوگونل پروجیکشنز کے امتزاج سے سیکھتے ہیں، اور ریکرنٹ لوپ کی خالص انٹیجر کمپیوٹیشن کے لیے ایکٹیویشنز پر تربیت کے بعد کوانٹائزیشن لاگو کرتے ہیں۔ مکمل طور پر کوانٹائزڈ ماڈلز فی الحال واحد متبادل ہیں جو 1000 ٹائم اسٹیپ کا Copy-task حل کرتے ہیں اور permuted MNIST اور کچھ IoT ٹاسکس پر موجودہ کوانٹائزڈ ماڈلز سے بہتر کارکردگی دکھاتے ہیں، اگرچہ دیگر ٹاسکس پر وہ LSTMs جیسے گیٹڈ RNNs سے کم مؤثر ہیں۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →