الذكاء الاصطناعي ومشكلات العالم الصعبة · علوم الحاسوب النظرية · Anthropic · 2026-10-09

يمكن للمجسّات البسيطة اكتشاف العملاء النائمين

العنوان الأصلي: Simple probes can catch sleeper agents

يعرض فريق علم المواءمة (Alignment Science) في Anthropic أبحاثًا أولية حول مجسّات الانشقاق (defection probes)، وهي مصنّفات خطية مدرَّبة على تنشيطات التيار المتبقي (residual stream) للتنبؤ بالوقت الذي ستنشق فيه نماذج العملاء النائمين (sleeper agents) نحو هدف خطير مخفي. وقد بلغت قيمة AUROC لهذه المجسّات أكثر من 99% بعد تدريبها على أزواج تباين عامة لا تحمل أي معلومات عن المحفّز أو السلوك الخطير. وتؤدي المجسّات أداءً جيدًا عبر نماذج أساسية متعددة، ومحفّزات انشقاق متنوعة، وطرق تدريب مختلفة، وسلوكيات مثل كتابة شيفرة معرّضة للثغرات وإهانة المستخدم.

اقرأ المصدر الأصلي ↗

جميع العناصر →