AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-21
OPLoRA: LoRA ya Upelekezi wa Orthogonal Inayozuia Kusahau Kikatili Wakati wa Fine-Tuning yenye Ufanisi wa Vigezo
Kichwa asilia: OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
Low-Rank Adaptation (LoRA) huwezesha fine-tuning yenye ufanisi wa modeli kubwa za lugha lakini hukumbwa na kusahau kikatili pale masasisho yaliyojifunzwa yanapovuruga mwelekeo wa pekee unaotawala unaoainisha maarifa ya mafunzo ya awali. OPLoRA iliyoendelezwa huoza uzito uliofungwa kwa SVD na kuzuia masasisho ya LoRA yakae kabisa ndani ya kiyakazi cha orthogonal cha nafasi ndogo ya singular ya top-k kwa kutumia upelekezi wa orthogonal wa pande mbili, na kuthibitisha kuwa ujenzi huu unahifadhi kikamilifu triplet za singular za top-k. Pia inatambulisha ρ_k, kipimo cha kupima usumbufu wa nafasi ndogo, na majaribio kwenye hoja za akili ya kawaida, hisabati, na utengenezaji wa msimbo vinaonyesha kusahau kunapungua kwa kiasi kikubwa huku ikidumisha utendaji wa kazi-maalum unaoshindana kwenye LLaMA-2 7B na Qwen2.5 7B.