ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-21
OPLoRA: LoRA с ортогональными проекциями предотвращает катастрофическое забывание при параметрически эффективном дообучении
Оригинальное название: OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
Low-Rank Adaptation (LoRA) позволяет эффективно дообучать большие языковые модели, но страдает от катастрофического забывания, когда выученные обновления интерферируют с доминирующими сингулярными направлениями, кодирующими предварительно обученные знания. Предлагаемый метод OPLoRA раскладывает замороженные веса с помощью SVD и при помощи двусторонних ортогональных проекций ограничивает обновления LoRA так, чтобы те целиком лежали в ортогональном дополнении top-k сингулярного подпространства, доказывая, что такая конструкция в точности сохраняет top-k сингулярные тройки. Также вводится ρ_k — метрика для количественной оценки интерференции подпространств, а эксперименты по рассуждениям на основе здравого смысла, математике и генерации кода показывают существенно сниженное забывание при сохранении конкурентоспособной специфичной для задачи производительности на LLaMA-2 7B и Qwen2.5 7B.