L'IA face aux grands problèmes du monde · Informatique théorique · Anthropic · 2026-10-09
De simples sondes peuvent détecter les agents dormants
Titre original: Simple probes can catch sleeper agents
L'équipe Alignment Science d'Anthropic présente des recherches préliminaires sur les sondes de défection, des classifieurs linéaires entraînés sur les activations du flux résiduel pour prédire quand des modèles « agents dormants » feront défection vers un objectif dangereux caché. Entraînées sur des paires de contraste génériques ne contenant aucune information sur le déclencheur ni sur le comportement dangereux, les sondes atteignent une AUROC supérieure à 99 %. Elles obtiennent de bons résultats sur plusieurs modèles de base, déclencheurs de défection, méthodes d'entraînement et comportements, tels que l'écriture de code vulnérable et l'insulte envers l'utilisateur.