AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-26

স্টকাস্টিক লিয়াপুনভ স্থিতিশীলতার মাধ্যমে ক্রস-এনট্রপি লসের জন্য বড় স্টেপসাইজের SGD-এর অভিসরণ

মূল শিরোনাম: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability

ডিপ লার্নিংয়ে প্রায়ই এমন লার্নিং রেট ব্যবহার করা হয় যা ক্লাসিক্যাল অপ্টিমাইজেশন তত্ত্বের সমর্থনের চেয়ে অনেক বেশি, অথচ স্টকাস্টিক ক্ষেত্রটি এখনও মূলত অনুসন্ধান করা হয়নি। লেখকেরা লিনিয়ার ক্লাসিফায়ার ও দুই-স্তরের নিউরাল নেটওয়ার্কের মাল্টিক্লাস ক্রস-এনট্রপি লসে SGD-এর জন্য সুনির্দিষ্ট অভিসরণ নিশ্চয়তা দিয়েছেন। তাঁরা দেখিয়েছেন যে গতিবিদ্যা বক্রতা-চালিত দোলনের প্রাধান্য থাকা এজ-অফ-স্ট্যাবিলিটি অবস্থা এবং নিয়ন্ত্রিত হারে প্রত্যাশিত লস কমে যাওয়া স্থিতিশীল অবস্থার মধ্যে পর্যায়ক্রমে বদলাতে পারে। তাঁরা প্রমাণ করেছেন যে SGD নির্দিষ্ট সংখ্যক ধাপের মধ্যেই স্থিতিশীলতায় ফিরে আসে, ফলে বড় লার্নিং রেটেও সেরা-ইটারেট অভিসরণ সম্ভব হয়, এবং পরীক্ষাগুলো এই ফলাফল যাচাই করে।

মূল লেখা পড়ুন ↗

সব আইটেম →