AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · Anthropic · 2026-10-09

سادہ probes sleeper agents کو پکڑ سکتے ہیں

اصل عنوان: Simple probes can catch sleeper agents

Anthropic کی Alignment Science ٹیم defection probes پر ابتدائی تحقیق کی رپورٹ دیتی ہے، جو residual stream activations پر تربیت یافتہ لکیری classifiers ہیں اور یہ پیش گوئی کرتے ہیں کہ sleeper agent ماڈلز کب کسی پوشیدہ خطرناک مقصد کی طرف انحراف کریں گے۔ عام contrast pairs پر تربیت کے بعد، جن میں trigger یا خطرناک رویے کے بارے میں کوئی معلومات نہیں ہوتیں، یہ probes 99% سے اوپر AUROC حاصل کرتے ہیں۔ یہ متعدد base models، defection triggers، تربیتی طریقوں اور رویوں، جیسے کمزور کوڈ لکھنا اور صارف کی توہین کرنا، میں اچھی کارکردگی دکھاتے ہیں۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →