IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · Anthropic · 2026-10-09
Sondas simples podem detectar agentes adormecidos
Título original: Simple probes can catch sleeper agents
A equipe de Alignment Science da Anthropic apresenta pesquisas iniciais sobre sondas de deserção (defection probes), que são classificadores lineares treinados com ativações do fluxo residual para prever quando modelos agentes adormecidos (sleeper agents) vão desertar em direção a um objetivo perigoso oculto. Treinadas com pares de contraste genéricos que não carregam nenhuma informação sobre o gatilho ou o comportamento perigoso, as sondas atingem AUROC acima de 99%. Elas têm bom desempenho em vários modelos base, gatilhos de deserção, métodos de treinamento e comportamentos, como escrever código vulnerável e insultar o usuário.