ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-26
О квантовании ортогональных рекуррентных нейронных сетей
Оригинальное название: On Orthogonal Recurrent Neural Networks Quantization
Ортогональные рекуррентные нейронные сети хорошо справляются с долгосрочными зависимостями, но используют веса и активации полной точности, что затрудняет их развёртывание на компактных устройствах. Авторы предлагают квантованные приближённо ортогональные РНС (QORNN), обучая их с помощью квантизационно-ориентированного обучения в сочетании с ортогональными проекциями, и применяют посттренировочное квантование к активациям для чисто целочисленных вычислений в рекуррентном цикле. Полностью квантованные модели на данный момент являются единственными альтернативами, решающими задачу Copy на 1000 временных шагов, и превосходят существующие квантованные модели на permuted MNIST и некоторых задачах IoT, хотя уступают вентильным РНС, таким как LSTM, в других задачах.