L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-21
OPLoRA : LoRA à projection orthogonale prévenant l'oubli catastrophique lors de l'affinage efficace en paramètres
Titre original: OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
L'adaptation de rang faible (LoRA) permet un affinage efficace des grands modèles de langage, mais souffre d'oubli catastrophique lorsque les mises à jour apprises interfèrent avec les directions singulières dominantes qui encodent les connaissances pré-entraînées. La méthode OPLoRA proposée décompose les poids gelés par SVD et contraint les mises à jour de LoRA à se situer entièrement dans le complément orthogonal du sous-espace singulier top-k au moyen de projections orthogonales bilatérales, prouvant que cette construction préserve exactement les triplets singuliers top-k. Elle introduit également ρ_k, une métrique pour quantifier l'interférence de sous-espace, et les expériences sur le raisonnement de sens commun, les mathématiques et la génération de code montrent un oubli nettement réduit tout en maintenant des performances spécifiques aux tâches compétitives sur LLaMA-2 7B et Qwen2.5 7B.