الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · arXiv · 2026-10-21

آلية الطبقة الحدية للتحجيم إلى الثلث في تصنيف softmax أونلاين

العنوان الأصلي: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification

تعزل الدراسة آليةً ينتج عنها أن عدم التطابق بين خسائر البدائل الملساء مثل softmax cross-entropy والعلامات الصلبة المنفصلة يولّد منحنيات تعلم من قانون القوى، وذلك باستخدام طالب softmax أحادي الطبقة يُدرَّب عبر SGD المتصل على مدخلات غاوسية مع علامات argmax من المعلّم. في الأزمنة المتأخرة لا تظل نشطة سوى طبقات متناقصة من الأمثلة حول حدود قرار المعلّم، مما ينتج قانونًا α^{-1/3} في زمن التدريب لكل من خسارة الاختبار وخطأ التعميم. وقانون الخطأ هذا أثرٌ لضوضاء التعلم المتصل، كما أن تلدين معدل التعلم يحسّن أُسَّه من 1/3 باتجاه 1/2 مع إبطاء الخسارة، وهو ما يستمر حتى من دون ضوضاء التدرج.

اقرأ المصدر الأصلي ↗

جميع العناصر →