AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-26
论正交循环神经网络的量化
原标题: On Orthogonal Recurrent Neural Networks Quantization
正交循环神经网络能够很好地处理长期依赖,但使用全精度权重和激活值,这阻碍了其在小型设备上的部署。作者提出了量化近似正交RNN(QORNN),通过结合正交投影的量化感知训练来学习这些模型,并对激活值应用训练后量化,以便对循环环路进行纯整数计算。这些完全量化的模型目前是唯一能解决1000时间步Copy任务的方案,并在置换MNIST和部分物联网任务上优于现有量化模型,不过在其他任务上不如LSTM等门控RNN有效。