الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · arXiv · 2026-10-21

محسِّنات مستوحاة من الفيزياء ما وراء حافة الاستقرار: مدارات الدورة الثنائية وعدم الاستقرار المتأخر

العنوان الأصلي: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability

نظرًا لأن معدلات التعلم في التعلم العميق تكون كبيرة، يسلك التدريب سلوك نظام ديناميكي متقطع ترتفع فيه الحدة عادةً إلى حد استقرار المُحسِّن، أي حافة الاستقرار (EoS). يحلل هذا العمل الخرائط الحركية، حيث تكون الخطوة تدرجًا لطاقة حركية للزخم، ويُظهر أن مداراتها المتماثلة ذات الدورين خارج الحافة تكون مستقرة فقط عندما تقع مرونة الخريطة بين 0 و1، وأن عدم الاستقرار يتأخر كما في نظرية Neishtadt للتشعبات الممسوحة ببطء، وأن مخمّد VRAdam يفشل فوق ضعف معدل التعلم الحرج بينما يجتاز قرينه الليجندري كل معدل تعلم. وتدعم التجارب على مسألة تربيعية دقيقة، وشبكة MLP بدفعات كاملة، وResNet-32 هذه النظرية، وإن كان جزء كبير من الفائدة الظاهرة على ResNet-18 يُعاد إنتاجه بمطابقة معدل التعلم الفعال.

اقرأ المصدر الأصلي ↗

جميع العناصر →