AI 與世界的難題 · 理論資訊科學 · Anthropic · 2026-10-09
簡單的探針就能抓出潛伏代理
原標題: Simple probes can catch sleeper agents
Anthropic 的對齊科學團隊發表了關於「叛變探針」的初步研究；這是一種線性分類器，以殘差流激活值訓練，用來預測潛伏代理模型何時會朝著隱藏的危險目標叛變。這些探針以不含任何觸發條件或危險行為資訊的通用對比組訓練，AUROC 可達 99% 以上。它們在多種基礎模型、叛變觸發條件、訓練方法，以及撰寫有漏洞的程式碼和辱罵使用者等行為上都表現良好。