AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-26
論正交循環神經網路的量化
原標題: On Orthogonal Recurrent Neural Networks Quantization
正交循環神經網路能夠妥善處理長期相依性，但使用全精度的權重與激活值，這阻礙了其在小型裝置上的部署。作者提出量化近似正交 RNN（QORNN），結合量化感知訓練與正交投影來學習這些模型，並對激活值進行訓練後量化，使循環迴圈能以純整數運算執行。這些完全量化的模型是目前唯一能解決 1000 時間步 Copy 任務的替代方案，並在排列式 MNIST 與部分物聯網任務上優於現有的量化模型，不過在其他任務上，其效果不如 LSTM 等門控 RNN。