AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-26

بڑے اسٹیپ سائز والے SGD کا کراس اینٹروپی لاس کے لیے اسٹوکاسٹک لیاپونوف استحکام کے ذریعے ارتکاز

اصل عنوان: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability

ڈیپ لرننگ میں اکثر لرننگ ریٹ اس سے کہیں زیادہ بڑے رکھے جاتے ہیں جتنا روایتی اصلاحی نظریہ جائز قرار دیتا ہے، مگر اسٹوکاسٹک صورتِ حال پر اب تک بڑی حد تک کام نہیں ہوا۔ مصنفین لینیئر کلاسیفائرز اور دو پرتوں والے نیورل نیٹ ورکس کے لیے ملٹی کلاس کراس اینٹروپی لاس پر SGD کے سخت ارتکازی ضمانتیں پیش کرتے ہیں، اور دکھاتے ہیں کہ حرکیات ایج آف اسٹیبلیٹی کی اس صورت کے درمیان بدل سکتی ہیں جس پر خمیدگی سے پیدا ہونے والے ارتعاشات حاوی ہوتے ہیں، اور ایک مستحکم صورت کے درمیان جہاں متوقع لاس قابو میں رہنے والی شرح سے کم ہوتا ہے۔ وہ ثابت کرتے ہیں کہ SGD ایک مقررہ تعداد کی تکرارات کے اندر استحکام کی طرف لوٹ آتا ہے، جس سے بڑے لرننگ ریٹ کے باوجود بہترین تکرار کا ارتکاز ممکن ہو جاتا ہے، اور تجربات ان نتائج کی توثیق کرتے ہیں۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →