AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-26

ऑर्थोगोनल रिकरेंट न्यूरल नेटवर्क के क्वांटाइज़ेशन पर

मूल शीर्षक: On Orthogonal Recurrent Neural Networks Quantization

ऑर्थोगोनल रिकरेंट न्यूरल नेटवर्क दीर्घकालिक निर्भरताओं को अच्छी तरह संभालते हैं, लेकिन पूर्ण-परिशुद्धता वाले भार और सक्रियणों का उपयोग करते हैं, जो छोटे उपकरणों पर तैनाती में बाधा डालता है। लेखक क्वांटाइज़्ड लगभग-ऑर्थोगोनल RNN (QORNN) प्रस्तावित करते हैं, जिन्हें क्वांटाइज़ेशन-अवेयर प्रशिक्षण को ऑर्थोगोनल प्रक्षेपणों के साथ मिलाकर सीखा जाता है, और रिकरेंट लूप की शुद्ध पूर्णांक गणना के लिए सक्रियणों पर पोस्ट-ट्रेनिंग क्वांटाइज़ेशन लागू करते हैं। पूर्ण रूप से क्वांटाइज़्ड मॉडल वर्तमान में 1000-टाइमस्टेप Copy-task को हल करने वाले एकमात्र विकल्प हैं और permuted MNIST तथा कुछ IoT कार्यों पर मौजूदा क्वांटाइज़्ड मॉडलों से बेहतर प्रदर्शन करते हैं, हालाँकि अन्य कार्यों पर वे LSTM जैसे गेटेड RNN की तुलना में कम प्रभावी हैं।

मूल लेख पढ़ें ↗

सभी आइटम →