AI与世界难题 · 理论计算机科学 · Anthropic · 2026-10-09
简单的探针就能识别潜伏特工
原标题: Simple probes can catch sleeper agents
Anthropic 的对齐科学团队报告了关于背叛探针的早期研究。背叛探针是在残差流激活上训练的线性分类器，用于预测潜伏特工模型何时会朝着隐藏的危险目标发生背叛。这些探针基于通用的对比对进行训练，其中不包含任何有关触发条件或危险行为的信息，其 AUROC 超过 99%。它们在多种基础模型、背叛触发条件、训练方法以及诸如编写存在漏洞的代码和侮辱用户等行为上都表现良好。