AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-21
OPLoRA: Proyeksi Ortogonal LoRA Mencegah Catastrophic Forgetting selama Fine-Tuning Hemat Parameter
Judul asli: OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
Low-Rank Adaptation (LoRA) memungkinkan fine-tuning model bahasa besar secara efisien, tetapi mengalami catastrophic forgetting ketika pembaruan yang dipelajari mengganggu arah singular dominan yang mengodekan pengetahuan pre-trained. OPLoRA yang diusulkan mendekomposisi bobot beku melalui SVD dan membatasi pembaruan LoRA agar sepenuhnya berada di dalam komplemen ortogonal dari subruang singular top-k menggunakan proyeksi ortogonal dua sisi, serta membuktikan bahwa konstruksi ini mempertahankan tripel singular top-k secara eksak. OPLoRA juga memperkenalkan ρ_k, metrik untuk menguantifikasi interferensi subspace, dan eksperimen pada commonsense reasoning, matematika, dan pembuatan kode menunjukkan penurunan lupa yang signifikan sambil tetap mempertahankan kinerja spesifik tugas yang kompetitif pada LLaMA-2 7B dan Qwen2.5 7B.