La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-26
Sobre la cuantización de redes neuronales recurrentes ortogonales
Título original: On Orthogonal Recurrent Neural Networks Quantization
Las redes neuronales recurrentes ortogonales manejan bien las dependencias a largo plazo, pero usan pesos y activaciones de precisión completa, lo que dificulta su despliegue en dispositivos compactos. Los autores proponen RNN aproximadamente ortogonales cuantizadas (QORNN), que se aprenden mediante entrenamiento consciente de la cuantización combinado con proyecciones ortogonales, y aplican cuantización posterior al entrenamiento a las activaciones para realizar el bucle recurrente con aritmética puramente entera. Los modelos totalmente cuantizados son actualmente las únicas alternativas que resuelven la tarea Copy de 1000 pasos de tiempo y superan a los modelos cuantizados existentes en MNIST permutado y algunas tareas de IoT, aunque son menos eficaces que las RNN con compuertas, como las LSTM, en otras tareas.