AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · Anthropic · 2026-10-09
सरल प्रोब्स स्लीपर एजेंट्स को पकड़ सकते हैं
मूल शीर्षक: Simple probes can catch sleeper agents
Anthropic की Alignment Science टीम डिफेक्शन प्रोब्स पर शुरुआती शोध की जानकारी देती है। ये रेज़िडुअल स्ट्रीम एक्टिवेशन पर प्रशिक्षित लीनियर क्लासिफ़ायर हैं, जो यह अनुमान लगाते हैं कि स्लीपर एजेंट मॉडल किसी छिपे हुए खतरनाक लक्ष्य की ओर कब डिफेक्ट करेंगे। सामान्य कंट्रास्ट पेयर्स पर प्रशिक्षित होने के बावजूद, जिनमें ट्रिगर या खतरनाक व्यवहार के बारे में कोई जानकारी नहीं होती, ये प्रोब्स 99% से ऊपर AUROC हासिल करते हैं। ये कई बेस मॉडलों, डिफेक्शन ट्रिगर्स, प्रशिक्षण विधियों और कमज़ोर कोड लिखने तथा उपयोगकर्ता का अपमान करने जैसे व्यवहारों में अच्छा प्रदर्शन करते हैं।