KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-26
Zur Quantisierung orthogonaler rekurrenter neuronaler Netze
Originaltitel: On Orthogonal Recurrent Neural Networks Quantization
Orthogonale rekurrente neuronale Netze bewältigen langfristige Abhängigkeiten gut, verwenden jedoch Gewichte und Aktivierungen in voller Genauigkeit, was den Einsatz auf kompakten Geräten erschwert. Die Autorinnen und Autoren schlagen quantisierte, näherungsweise orthogonale RNNs (QORNNs) vor, die sie mittels quantisierungsbewusstem Training in Kombination mit orthogonalen Projektionen lernen, und wenden Post-Training-Quantisierung auf die Aktivierungen an, um die rekurrente Schleife rein ganzzahlig zu berechnen. Die vollständig quantisierten Modelle sind derzeit die einzigen Alternativen, die die Copy-Aufgabe mit 1000 Zeitschritten lösen und bestehende quantisierte Modelle bei permutiertem MNIST und einigen IoT-Aufgaben übertreffen, wenngleich sie bei anderen Aufgaben weniger leistungsfähig sind als gatterbasierte RNNs wie LSTMs.