AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-21

অনলাইন সফটম্যাক্স ক্লাসিফিকেশনে এক-তৃতীয়াংশ স্কেলিংয়ের জন্য একটি বাউন্ডারি-লেয়ার প্রক্রিয়া

মূল শিরোনাম: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification

গবেষণাটি একটি ক্রিয়াপ্রণালী বিচ্ছিত করে দেখায় যে softmax cross-entropy-এর মতো মসৃণ সারোগেট লস ও বিচ্ছিন্ন হার্ড লেবেলের মধ্যকার অসঙ্গতি কীভাবে পাওয়ার-ল শেখার বক্ররেখা উৎপন্ন করে; এজন্য argmax টিচার লেবেলসহ Gaussian ইনপুটের ওপর online SGD দিয়ে প্রশিক্ষিত এক-স্তরের softmax স্টুডেন্ট ব্যবহার করা হয়েছে। পরবর্তী সময়ে টিচারের ডিসিশন বাউন্ডারির চারপাশের উদাহরণগুলোর ক্রমশ সংকুচিত হওয়া স্তরগুলোই সক্রিয় থাকে, ফলে টেস্ট লস ও জেনারেলাইজেশন এরর—উভয় ক্ষেত্রেই—প্রশিক্ষণ সময়ের সাপেক্ষে α^{-1/3} সূত্র পাওয়া যায়। এই এরর সূত্রটি একটি অনলাইন-নয়েজ প্রভাব, এবং লার্নিং-রেট অ্যানিলিং এর সূচক 1/3 থেকে 1/2-এর দিকে উন্নত করে, যদিও তাতে লস হ্রাসের গতি ধীর হয়; এই প্রভাব গ্রেডিয়েন্ট নয়েজ ছাড়াও টিকে থাকে।

মূল লেখা পড়ুন ↗

সব আইটেম →