AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-26

শার্পনেস-সচেতন অর্থোগোনালাইজড মোমেন্টাম অ্যালগরিদম

মূল শিরোনাম: Sharpness-aware Orthogonalized Momentum Algorithms

শার্পনেস-সচেতন মিনিমাইজেশন ডিপ লার্নিংয়ে সাধারণীকরণ উন্নত করে, কিন্তু এর অতিরিক্ত গ্রেডিয়েন্ট গণনা বৃহৎ ভাষা মডেলের জন্য ব্যয়বহুল, এবং Muon অপটিমাইজারের সঙ্গে এর সমন্বয় নিয়ে খুব কম অনুসন্ধান হয়েছে। লেখকেরা SOMA প্রস্তাব করেছেন, যা বিরোধী (অ্যাডভার্সারিয়াল) পারটার্বেশনের জন্য পুরোনো স্টোকাস্টিক গ্রেডিয়েন্ট নয়েজ ব্যবহার করে একটি কার্যকর পারটার্বেশন পদ্ধতিকে Muon-এর সঙ্গে যুক্ত করে। তাঁরা তাত্ত্বিকভাবে দেখিয়েছেন যে SOMA-র স্যাম্পল জটিলতা পারটার্বেশনের দিকের ওপর নির্ভর করে না, এবং তাঁরা পোস্ট-ট্রেনিং কোয়ান্টাইজেশন থেকে গুণমানের ক্ষতি ও LLM ফাইন-টিউনিংয়ের সময় বিপর্যয়কর বিস্মৃতির বিরুদ্ধে এর ব্যবহার অনুসন্ধান করেছেন।

মূল লেখা পড়ুন ↗

সব আইটেম →