ИИ и сложнейшие проблемы мира · Теоретическая информатика · Anthropic · 2026-10-09
Простые зонды могут выявлять спящих агентов
Оригинальное название: Simple probes can catch sleeper agents
Команда Alignment Science из Anthropic сообщает о ранних результатах исследования зондов дезертирства (defection probes) — линейных классификаторов, обученных на активациях остаточного потока и предсказывающих, когда модели-«спящие агенты» перейдут к скрытой опасной цели. Обученные на обобщённых контрастных парах, не содержащих информации ни о триггере, ни об опасном поведении, зонды достигают AUROC выше 99%. Они хорошо работают на разных базовых моделях, триггерах дезертирства, методах обучения и видах поведения, например при написании уязвимого кода и оскорблении пользователя.