La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-21
OPLoRA: LoRA con proyección ortogonal previene el olvido catastrófico durante el ajuste fino eficiente en parámetros
Título original: OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
La Adaptación de Bajo Rango (LoRA) permite el ajuste fino eficiente de grandes modelos de lenguaje, pero sufre olvido catastrófico cuando las actualizaciones aprendidas interfieren con las direcciones singulares dominantes que codifican el conocimiento preentrenado. El OPLoRA propuesto descompone los pesos congelados mediante SVD y restringe las actualizaciones de LoRA a situarse por completo dentro del complemento ortogonal del subespacio singular top-k mediante proyecciones ortogonales dobles, demostrando que esta construcción preserva exactamente las tripletas singulares top-k. También introduce ρ_k, una métrica para cuantificar la interferencia de subespacios, y los experimentos sobre razonamiento de sentido común, matemáticas y generación de código muestran un olvido significativamente reducido al tiempo que mantienen un rendimiento competitivo específico de la tarea en LLaMA-2 7B y Qwen2.5 7B.