AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · Anthropic · 2026-09-28

ٹرانسفارمر کے residual stream میں ممتاز بنیادیں (privileged bases)

اصل عنوان: Privileged bases in the transformer residual stream

یہ مطالعہ جانچتا ہے کہ Transformer کے residual stream میں انفرادی کوآرڈینیٹس ممتاز بنیاد (privileged basis) کا رویہ کیوں ظاہر کرتے ہیں، حالانکہ نظریہ کے مطابق انہیں من مانا ہونا چاہیے۔ مصنفین عارضی طور پر اس اثر کو Adam آپٹیمائزر میں فی بُعد نارملائزرز سے منسوب کرتے ہیں۔ لیئر نارملائزیشن اور محدود درستگی والی فلوٹنگ پوائنٹ ریاضی کو ماخذ کے طور پر خارج کر دیا گیا۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →