IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-21
OPLoRA: LoRA com projeção ortogonal previne o esquecimento catastrófico durante o ajuste fino com eficiência de parâmetros
Título original: OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
A Low-Rank Adaptation (LoRA) possibilita o ajuste fino eficiente de grandes modelos de linguagem, mas sofre de esquecimento catastrófico quando as atualizações aprendidas interferem com as direções singulares dominantes que codificam o conhecimento pré-treinado. O OPLoRA proposto decompõe os pesos congelados via SVD e restringe as atualizações do LoRA a ficar inteiramente dentro do complemento ortogonal do subespaço singular top-k usando projeções ortogonais de dois lados, provando que essa construção preserva exatamente as triplas singulares top-k. Ele também introduz ρ_k, uma métrica para quantificar a interferência de subespaços, e experimentos de raciocínio de senso comum, matemática e geração de código mostram um esquecimento significativamente reduzido, mantendo desempenho competitivo específico da tarefa no LLaMA-2 7B e no Qwen2.5 7B.