AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-21
OPLoRA：正交投影 LoRA 防止参数高效微调中的灾难性遗忘
原标题: OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
低秩适应（LoRA）可实现大型语言模型的高效微调，但当学习到的更新与编码预训练知识的主导奇异方向发生干扰时，会产生灾难性遗忘。所提出的 OPLoRA 通过 SVD 对冻结权重进行分解，并利用双侧正交投影将 LoRA 更新约束为完全位于前 k 个奇异子空间的正交补内，证明该构造能精确保持前 k 个奇异三元组。该方法还引入了用于量化子空间干扰的度量 ρ_k；在常识推理、数学和代码生成任务上的实验表明，在 LLaMA-2 7B 和 Qwen2.5 7B 上，遗忘显著减少，同时保持了有竞争力的任务特定性能。