AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-21

AURA: জটিল-মান নিউরাল নেটওয়ার্ক প্রশিক্ষণের জন্য Angular Update Rate Adaptation

মূল শিরোনাম: AURA: Angular Update Rate Adaptation for training complex-valued neural networks

জটিল-মান নিউরাল নেটওয়ার্ক প্রায়ই বাস্তব-মান ক্ষেত্র থেকে উত্তরাধিকারসূত্রে প্রাপ্ত ফার্স্ট-অর্ডার অপ্টিমাইজার দিয়ে প্রশিক্ষিত হয়, যেগুলোর স্টেপ-সাইজ নিয়ম জটিল তলে উপলব্ধ কৌণিক তথ্যকে উপেক্ষা করে। AURA একটি প্যারামিটার-প্রতি স্টেপ-সাইজ অ্যাডাপ্টেশন, যা যেকোনো ফার্স্ট-অর্ডার অপ্টিমাইজারের ওপরে যুক্ত করা যায়: এটি প্রতিটি জটিল প্যারামিটারের পরপর আপডেটগুলোর মধ্যে দৈর্ঘ্য, সংরেখন ও ঘূর্ণনের দিকের বিচারে সামঞ্জস্য পরিমাপ করে, সেগুলো সামঞ্জস্যপূর্ণ হলে স্টেপ বাড়িয়ে এবং না হলে কমিয়ে, এবং এতে কোনো অতিরিক্ত গ্রেডিয়েন্ট মূল্যায়নের প্রয়োজন হয় না। Adam ও Muon-এর সঙ্গে একত্রিত করে ক্রমবর্ধমান জটিলতার চারটি টেস্ট কেসে তুলনা করা হলে, এটি বেশিরভাগ ক্ষেত্রে প্রতি-স্টেপ সামান্য ওভারহেডের বিনিময়ে তার ভিত্তি অপ্টিমাইজারের কনভার্জেন্স উন্নত করেছে, এবং যেসব শর্তে এটি ব্যর্থ হয় সেগুলোও চিহ্নিত করা হয়েছে।

মূল লেখা পড়ুন ↗

সব আইটেম →