الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · arXiv · 2026-10-26

خوارزميات الزخم المتعامد الواعية بالحدّة

العنوان الأصلي: Sharpness-aware Orthogonalized Momentum Algorithms

يحسّن التصغير الواعي بالحدّة التعميم في التعلّم العميق، لكن حساب التدرج الإضافي فيه مكلف للنماذج اللغوية الكبيرة، كما أن الجمع بينه وبين مُحسِّن Muon لم يُستكشف إلا قليلًا. يقترح المؤلفون SOMA، الذي يستخدم ضجيج التدرج العشوائي القديم لإحداث اضطرابات عدائية بغرض الجمع بين مخطط اضطراب فعّال ومُحسِّن Muon. ويبيّنون نظريًا أن تعقيد العينات في SOMA لا يعتمد على اتجاه الاضطراب، ويستكشفون استخدامه في مواجهة فقدان الجودة الناتج عن التكميم بعد التدريب والنسيان الكارثي أثناء الضبط الدقيق للنماذج اللغوية الكبيرة.

اقرأ المصدر الأصلي ↗

جميع العناصر →