AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-26
Kuhusu Ukwantishaji wa Mitandao ya Neva Rudufu ya Orthogonal
Kichwa asilia: On Orthogonal Recurrent Neural Networks Quantization
Mitandao ya neva rudufu ya orthogonal hushughulikia vizuri utegemezi wa muda mrefu lakini hutumia uzito na uamilisho wa usahihi kamili, jambo linalozuia utumiaji kwenye vifaa vidogo. Waandishi wanapendekeza RNN zinazokaribia orthogonal zilizokwantishwa (QORNNs), wakizifundisha kwa mafunzo yanayozingatia ukwantishaji pamoja na makadirio ya orthogonal, na kutumia ukwantishaji baada ya mafunzo kwa uamilisho ili kupata hesabu safi za namba kamili kwenye mzunguko rudufu. Modeli zilizokwantishwa kikamilifu kwa sasa ndizo mbadala pekee zinazotatua kazi ya Copy ya hatua 1000 za muda na kuzidi modeli zilizokwantishwa zilizopo kwenye MNIST iliyochanganywa na baadhi ya kazi za IoT, ingawa hazina ufanisi kama RNN zenye milango kama LSTM kwenye kazi nyingine.