الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · arXiv · 2026-10-21

OPLoRA: LoRA بالإسقاط المتعامد يمنع النسيان الكارثي أثناء الضبط الدقيق الموفر للمعاملات

العنوان الأصلي: OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning

يتيح التكيُّف منخفض الرتبة (LoRA) ضبطًا دقيقًا فعالًا للنماذج اللغوية الكبيرة، لكنه يعاني من النسيان الكارثي عندما تتداخل التحديثات المتعلَّمة مع الاتجاهات المفردة المهيمنة التي ترمِّز المعرفة المدرَّبة مسبقًا. يقوم OPLoRA المقترح بتفكيك الأوزان المجمدة عبر تحليل القيم المفردة (SVD) وتقييد تحديثات LoRA على أن تقع بالكامل ضمن المتممة المتعامدة للفضاء الجزئي للقيم المفردة k العليا باستخدام إسقاطات متعامدة من الجانبين، مع إثبات أن هذا البناء يحافظ تمامًا على الثلاثيات المفردة للقيم المفردة k العليا. كما يقدّم ρ_k، وهو مقياس لقياس تداخل الفضاءات الجزئية، وتُظهر التجارب على الاستدلال بالمعرفة العامة والرياضيات وتوليد الشيفرات البرمجية انخفاضًا كبيرًا في النسيان مع الحفاظ على أداء تنافسي خاص بالمهام على LLaMA-2 7B وQwen2.5 7B.

اقرأ المصدر الأصلي ↗

جميع العناصر →