AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-21
OPLoRA:直交射影によりパラメータ効率の良いファインチューニングでの破局的忘却を防止
原題: OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
低ランク適応(LoRA)による大規模言語モデルの効率的なファインチューニングでは、学習された更新が事前学習知識を符号化する主要な特異方向と干渉して破局的忘却が起こるという問題を扱った。提案手法OPLoRAは凍結重みをSVDで分解し、射影によりLoRAの更新を上位k特異部分空間の直交補空間内に制約する両側直交射影を用い、この構成が上位k特異三つ組を厳密に保存することを証明した。さらに、更新と主要方向の整合を測る指標ρ_kを導入し、常識推論・数学・コード生成の実験において、LLaMA-2 7BとQwen2.5 7Bで忘却を大幅に削減しつつタスク固有の性能を競争力のある水準に維持できることを示した。