AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · Anthropic · 2026-09-28
ٹرانسفارمر سرکٹس کے لیے ایک ریاضیاتی فریم ورک
اصل عنوان: A mathematical framework for Transformer Circuits
محققین نے چھوٹے، صرف اٹینشن پر مبنی ٹرانسفارمرز کا ریورس انجینئرنگ کیا تاکہ یہ مطالعہ کیا جا سکے کہ انڈکشن ہیڈز کیسے بنتے ہیں۔ یہ کام ظاہر کرتا ہے کہ وہ ہیڈ کمپوزیشن کے ذریعے بنتے ہیں۔