La IA y los problemas difíciles del mundo · Informática teórica · Anthropic · 2026-10-09
Unas sondas simples pueden detectar agentes durmientes
Título original: Simple probes can catch sleeper agents
El equipo de Alignment Science de Anthropic presenta una investigación preliminar sobre las sondas de deserción, que son clasificadores lineales entrenados con las activaciones del flujo residual para predecir cuándo los modelos agente durmiente desertarán hacia un objetivo peligroso oculto. Entrenadas con pares de contraste genéricos que no contienen información sobre el desencadenante ni sobre el comportamiento peligroso, las sondas alcanzan un AUROC superior al 99%. Funcionan bien con varios modelos base, desencadenantes de deserción, métodos de entrenamiento y comportamientos, como escribir código vulnerable e insultar al usuario.