L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-26
Sur la quantification des réseaux de neurones récurrents orthogonaux
Titre original: On Orthogonal Recurrent Neural Networks Quantization
Les réseaux de neurones récurrents orthogonaux gèrent bien les dépendances à long terme, mais utilisent des poids et des activations en pleine précision, ce qui freine leur déploiement sur des appareils compacts. Les auteurs proposent des RNN approximativement orthogonaux quantifiés (QORNN), appris par un entraînement tenant compte de la quantification combiné à des projections orthogonales, et appliquent une quantification post-entraînement aux activations afin d'obtenir un calcul entièrement en nombres entiers de la boucle récurrente. Les modèles entièrement quantifiés sont actuellement les seules alternatives qui résolvent la tâche Copy à 1000 pas de temps et surpassent les modèles quantifiés existants sur MNIST permuté et certaines tâches IoT, bien qu'ils soient moins efficaces que les RNN à portes tels que les LSTM sur d'autres tâches.