AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-21

স্থিরতার সীমান্তের বাইরে পদার্থবিজ্ঞান-অনুপ্রাণিত অপটিমাইজার: পিরিয়ড-টু অরবিট এবং বিলম্বিত অস্থিরতা

মূল শিরোনাম: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability

ডিপ লার্নিং-এ লার্নিং রেট বড় হওয়ায় ট্রেনিং একটি বিচ্ছিন্ন গতীয় সিস্টেমের মতো আচরণ করে, যেখানে শার্পনেস সাধারণত অপটিমাইজারের স্থিতিশীলতার সীমায়, অর্থাৎ এজ অব স্ট্যাবিলিটি (EoS)-তে উঠে যায়। গবেষণাটি কাইনেটিক ম্যাপ বিশ্লেষণ করেছে, যেখানে স্টেপটি হলো মোমেন্টামের গতিশক্তির গ্রেডিয়েন্ট, এবং দেখিয়েছে যে এজের বাইরের এদের প্রতিসম পিরিয়ড-টু কক্ষপথগুলো কেবল তখনই স্থিতিশীল থাকে যখন ম্যাপের স্থিতিস্থাপকতা 0 থেকে 1-এর মধ্যে থাকে, যে অস্থিরতা Neishtadt-এর ধীরে অতিক্রান্ত বিফারকেশন তত্ত্বের মতোই বিলম্বিত হয়, এবং যে VRAdam-এর ড্যাম্পার সংকটজনক লার্নিং রেটের দ্বিগুণের ওপরে ব্যর্থ হয়, অথচ এর Legendre দ্বৈতটি প্রতিটি লার্নিং রেটেই উত্তীর্ণ হয়। একটি নিখুঁত দ্বিঘাত সমস্যা, একটি ফুল-ব্যাচ MLP এবং ResNet-32-এর ওপর করা পরীক্ষাগুলো তত্ত্বটিকে সমর্থন করে, যদিও ResNet-18-এ আপাত উপকারিতার অনেকটাই কার্যকর লার্নিং রেট মিলিয়ে নিতেই পুনরুৎপাদিত হয়।

মূল লেখা পড়ুন ↗

সব আইটেম →