IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-26
Sobre a Quantização de Redes Neurais Recorrentes Ortogonais
Título original: On Orthogonal Recurrent Neural Networks Quantization
Redes neurais recorrentes ortogonais lidam bem com dependências de longo prazo, mas usam pesos e ativações de precisão total, o que dificulta a implantação em dispositivos compactos. Os autores propõem RNNs aproximadamente ortogonais quantizadas (QORNNs), aprendendo-as com treinamento consciente de quantização combinado com projeções ortogonais, e aplicam quantização pós-treinamento às ativações para o cálculo puramente inteiro do laço recorrente. Os modelos totalmente quantizados são atualmente as únicas alternativas que resolvem a tarefa Copy de 1000 passos de tempo e superam os modelos quantizados existentes no MNIST permutado e em algumas tarefas de IoT, embora sejam menos eficazes do que RNNs com portas, como as LSTMs, em outras tarefas.