AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-26
直交リカレントニューラルネットワークの量子化について
原題: On Orthogonal Recurrent Neural Networks Quantization
直交リカレントニューラルネットワーク（ORNN）は長期依存のタスクに強いが、全精度の重みと活性化を用いるため小型機器への展開が難しい。本研究は重み行列を量子化したQORNNを提案し、量子化を考慮した学習と直交射影の2つの手法で学習させる。さらに活性化のポストトレーニング量子化により再帰ループの完全整数演算を可能にし、1000ステップのCopy taskを解ける現時点で唯一の完全量子化モデルとなった一方、ゲート付きRNNが優れるタスクでは性能が劣る。