AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-21

AURA: کمپلیکس ویلیو نیورل نیٹ ورکس کی تربیت کے لیے اینگولر اپڈیٹ ریٹ ایڈاپٹیشن

اصل عنوان: AURA: Angular Update Rate Adaptation for training complex-valued neural networks

کمپلیکس ویلیو نیورل نیٹ ورکس اکثر ریئل ویلیو صورتِ حال سے ورثے میں ملنے والے فرسٹ آرڈر آپٹیمائزرز کے ساتھ تربیت پاتے ہیں، جن کے اسٹیپ سائز قواعد کمپلیکس پلین میں موجود زاویائی معلومات کو نظر انداز کر دیتے ہیں۔ AURA ایک فی پیرامیٹر اسٹیپ سائز ایڈاپٹیشن ہے جسے کسی بھی فرسٹ آرڈر آپٹیمائزر کے اوپر شامل کیا جا سکتا ہے: یہ ہر کمپلیکس پیرامیٹر کی لگاتار اپڈیٹس کے درمیان مطابقت کو لمبائی، سمت بندی اور گردش کی سمت کے لحاظ سے ماپتا ہے، اور جب یہ باہم مطابق ہوں تو قدم کو بڑھاتا ہے اور جب مطابق نہ ہوں تو گھٹا دیتا ہے، بغیر کسی اضافی گریڈیئن ارزیابی کے۔ Adam اور Muon کے ساتھ مربوط کر کے اور بڑھتی ہوئی پیچیدگی والے چار ٹیسٹ کیسز پر موازنہ کرتے ہوئے، اس نے زیادہ تر صورتوں میں اپنے بنیادی آپٹیمائزر کی کنورجنس کو فی قدم معمولی اوور ہیڈ کے ساتھ بہتر بنایا، اور ان حالات کی بھی نشاندہی کی گئی جن میں یہ ناکام ہو جاتا ہے۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →