AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-26
Tentang Kuantisasi Jaringan Saraf Rekuren Ortogonal
Judul asli: On Orthogonal Recurrent Neural Networks Quantization
Jaringan saraf rekuren ortogonal menangani dependensi jangka panjang dengan baik, tetapi menggunakan bobot dan aktivasi berpresisi penuh, yang menghambat penerapannya pada perangkat ringkas. Para penulis mengusulkan RNN hampir ortogonal terkuantisasi (QORNN), mempelajarinya dengan pelatihan sadar kuantisasi yang dikombinasikan dengan proyeksi ortogonal, dan menerapkan kuantisasi pasca-pelatihan pada aktivasi untuk komputasi bilangan bulat murni pada loop rekuren. Model yang sepenuhnya terkuantisasi ini saat ini menjadi satu-satunya alternatif yang menyelesaikan tugas Copy 1000 langkah waktu dan mengungguli model terkuantisasi yang ada pada MNIST teracak serta beberapa tugas IoT, meskipun kurang efektif dibandingkan RNN berpintu seperti LSTM pada tugas lainnya.