الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · Anthropic · 2026-09-28
القواعد المميزة في التدفق المتبقي لنموذج Transformer
العنوان الأصلي: Privileged bases in the transformer residual stream
تبحث الدراسة في سبب إظهار الإحداثيات الفردية في التدفق المتبقي لنموذج Transformer سلوك قاعدة مميزة، مع أن النظرية تتوقع أن تكون اعتباطية. ويعزو المؤلفون هذا الأثر مبدئيًا إلى المعايِرات لكل بُعد في مُحسِّن Adam. واستُبعد تطبيع الطبقات والحساب العشري بدقة محدودة كمصدرين لهذا الأثر.