AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-21

استحکام کی سرحد سے آگے فزکس سے متاثر آپٹیمائزرز: دو دورانیے کے مدارات اور تاخیری عدم استحکام

اصل عنوان: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability

چونکہ ڈیپ لرننگ میں لرننگ ریٹ بڑے ہوتے ہیں، اس لیے تربیت ایک متقطع ڈائنامیکل نظام کی طرح رویہ کرتی ہے جس میں شارپنس عموماً آپٹیمائزر کی استحکامی حد یعنی ایج آف اسٹیبلٹی (EoS) تک چڑھ جاتی ہے۔ یہ مطالعہ حرکی نقشوں (kinetic maps) کا تجزیہ کرتا ہے، جن میں قدم مومینٹم کی حرکی توانائی کا گریڈینٹ ہوتا ہے، اور دکھاتا ہے کہ اس حد سے آگے ان کے متناسب period-two مدارات صرف اُس وقت مستحکم ہوتے ہیں جب نقشے کی لچک 0 اور 1 کے درمیان ہو، یہ کہ عدم استحکام Neishtadt کی آہستہ آہستہ طے ہونے والے انشعابات (slowly swept bifurcations) کی تھیوری کی طرح مؤخر ہوتا ہے، اور یہ کہ VRAdam کا ڈیمپر بحرانی لرننگ ریٹ کے دگنے سے زیادہ پر ناکام ہو جاتا ہے جبکہ اس کا لیجینڈر ڈوئل ہر لرننگ ریٹ پر کامیاب رہتا ہے۔ ایک exact quadratic مسئلے، ایک full-batch MLP اور ResNet-32 پر تجربات اس تھیوری کی تائید کرتے ہیں، اگرچہ ResNet-18 پر ظاہری فائدے کا بڑا حصہ موثر لرننگ ریٹ کی مماثلت سے دوبارہ پیدا ہو جاتا ہے۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →