AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-21

OPLoRA: عمودی پروجیکشن LoRA پیرامیٹر-مؤثر فائن ٹیوننگ کے دوران سنگین بھولاؤ کو روکتا ہے

اصل عنوان: OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning

لو رینک اڈاپٹیشن (LoRA) بڑے لینگویج ماڈلز کی موثر فائن ٹیوننگ ممکن بناتی ہے، لیکن جب سیکھے گئے اپ ڈیٹس پہلے سے تربیت یافتہ علم کو محفوظ کرنے والے غالب سنگولر سمتوں میں مداخلت کرتی ہیں تو یہ سنگین بھولاؤ کا شکار ہو جاتی ہے۔ تجویز کردہ OPLoRA منجمد وزنوں کو SVD کے ذریعے تجزیہ کرتا ہے اور دو طرفہ عمودی پروجیکشنز کے ذریعے LoRA اپ ڈیٹس کو top-k سنگولر سب اسپیس کے عمودی متمم کے اندر مکمل طور پر رکھنے کی پابندی عائد کرتا ہے، اور ثابت کرتا ہے کہ یہ ساخت top-k سنگولر ٹرپلز کو عین مطابق محفوظ رکھتی ہے۔ یہ ρ_k بھی متعارف کرواتا ہے، جو سب اسپیس مداخلت کی مقدار معلوم کرنے کا پیمانہ ہے، اور عام فہم استدلال، ریاضی اور کوڈ جنریشن پر تجربات ظاہر کرتے ہیں کہ LLaMA-2 7B اور Qwen2.5 7B پر مخصوص کاموں میں مسابقتی کارکردگی برقرار رکھتے ہوئے بھولاؤ میں نمایاں کمی واقع ہوئی۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →