AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-21

آن لائن سافٹ میکس درجہ بندی میں ایک تہائی اسکیلنگ کے لیے باؤنڈری-لےیر میکانزم

اصل عنوان: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification

یہ مطالعہ ایک میکانزم کو الگ تھلگ کرتا ہے جس کے ذریعے softmax cross-entropy جیسے ہموار سرروگیٹ لاسز اور منقطع سخت لیبلز کے درمیان عدمِ تلازم قانونِ طاقت کے مطابق لرننگ کرو پیدا کرتی ہے، جس کے لیے argmax استادی لیبلز والے Gaussian ان پٹس پر آن لائن SGD سے تربیت یافتہ ایک پرت کے softmax شاگرد کو استعمال کیا گیا ہے۔ دیر کے اوقات میں صرف استاد کی فیصلہ سازی کی سرحدوں کے گرد مثالوں کی سکڑتی ہوئی پرتیں فعال رہ جاتی ہیں، جس سے ٹیسٹ لاس اور تعمیمی خرابی دونوں کے لیے تربیتی وقت میں α^{-1/3} کا قانون سامنے آتا ہے۔ یہ خرابی کا قانون آن لائن شور کا اثر ہے، اور لرننگ-ریٹ اینیلنگ اس کے ایکسپوننٹ کو 1/3 سے 1/2 کی جانب بہتر کرتی ہے جبکہ لاس کو سست کر دیتی ہے، اور یہ اثر گریڈیئنٹ شور کے بغیر بھی برقرار رہتا ہے۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →