الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · arXiv · 2026-10-26

نظرية رياضية لعدسة جاكوبيان

العنوان الأصلي: A Mathematical Theory of the Jacobian Lens

رصدت عدسة جاكوبي (J-lens)، وهي أداة تفسيرية من Anthropic، اتجاهات تشبه الذاكرة العاملة في النماذج اللغوية، لكن سبب إمكانية رصد هذه السمات لم يكن واضحًا. يقدّم المؤلفون نظرية رياضية تبيّن أن J-lens تحدّد بشكل تفضيلي السمات المتّسقة، التي تتضخم اضطراباتها عبر الطبقات وتظل متسقة عبر مواضع الرموز والسياقات. وقد تحققوا من ذلك على مرشِّح بايز (Bayes filter) وعلى محوّل مبسّط (toy transformer) يتنبأ بالرموز من نموذج ماركوف المخفي، حيث غيّر تعديل المعاملات التي تبدّل اتساق السمات استجابة J-lens كما كان متوقعًا.

اقرأ المصدر الأصلي ↗

جميع العناصر →