AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-21
OPLoRA:正交投影 LoRA 防止參數高效微調時的災難性遺忘
原標題: OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
低秩適應(Low-Rank Adaptation, LoRA)能對大型語言模型進行高效微調，但當學習到的更新干擾到編碼預訓練知識的主導奇異方向時，便會出現災難性遺忘。所提出的 OPLoRA 以 SVD 分解凍結權重，並利用雙側正交投影，將 LoRA 更新限制在完全位於 top-k 奇異子空間正交補餘內，證明此構造能精確保留 top-k 奇異三元組。該方法並引入量化子空間干擾的指標 ρ_k,而在常識推理、數學與程式碼生成上的實驗顯示，遺忘情形顯著降低，同時在 LLaMA-2 7B 與 Qwen2.5 7B 上仍維持具競爭力的特定任務效能。