KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-21
OPLoRA: Orthogonale Projektions-LoRA verhindert katastrophales Vergessen beim parameter-effizienten Fine-Tuning
Originaltitel: OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
Low-Rank Adaptation (LoRA) ermöglicht effizientes Fine-Tuning großer Sprachmodelle, leidet jedoch unter katastrophalem Vergessen, wenn gelernte Aktualisierungen mit den dominanten Singulärrichtungen interferieren, die das vortrainierte Wissen kodieren. Das vorgeschlagene OPLoRA zerlegt eingefrorene Gewichte mittels SVD und beschränkt LoRA-Aktualisierungen durch zweiseitige orthogonale Projektionen darauf, vollständig im orthogonalen Komplement des top-k-Singulärraums zu liegen, und beweist, dass diese Konstruktion die top-k-Singulärtripel exakt erhält. Zudem führt es ρ_k ein, eine Metrik zur Quantifizierung der Teilrauminterferenz; Experimente zu Commonsense Reasoning, Mathematik und Code-Generierung zeigen ein deutlich reduziertes Vergessen, während die aufgabenspezifische Leistung auf LLaMA-2 7B und Qwen2.5 7B wettbewerbsfähig bleibt.