الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · arXiv · 2026-10-26

تقارب خوارزمية SGD ذات حجم الخطوة الكبير لدالة الخسارة الإنتروبيا المتقاطعة عبر استقرار ليابونوف العشوائي

العنوان الأصلي: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability

كثيرًا ما يستخدم التعلم العميق معدلات تعلّم أكبر بكثير مما تبرره نظرية الأمثلة الكلاسيكية، ومع ذلك لم يُستكشف السياق العشوائي إلا قليلًا. يقدّم المؤلفون ضمانات تقارب دقيقة لخوارزمية SGD على دالة خسارة الإنتروبيا المتقاطعة متعددة الفئات للمصنّفات الخطية والشبكات العصبية ذات الطبقتين، ويبيّنون أن الديناميكيات قد تتناوب بين نظام حافة الاستقرار الذي تهيمن عليه تذبذبات ناتجة عن الانحناء، ونظام مستقر تتناقص فيه الخسارة المتوقعة بمعدل مضبوط. ويثبتون أن SGD تعود إلى الاستقرار خلال عدد ثابت من التكرارات، مما يتيح تقارب أفضل تكرار حتى مع معدلات تعلّم كبيرة، وتؤكد التجارب هذه النتائج.

اقرأ المصدر الأصلي ↗

جميع العناصر →