KI und die schwierigen Probleme der Welt · Theoretische Informatik · Anthropic · 2026-10-09
Einfache Probes können Sleeper Agents aufspüren
Originaltitel: Simple probes can catch sleeper agents
Das Alignment-Science-Team von Anthropic berichtet über frühe Forschung zu Defection-Probes. Dabei handelt es sich um lineare Klassifikatoren, die auf Aktivierungen des Residualstroms trainiert werden, um vorherzusagen, wann Sleeper-Agent-Modelle zugunsten eines verborgenen gefährlichen Ziels abtrünnig werden. Die Probes werden auf generischen Kontrastpaaren trainiert, die keinerlei Informationen über den Auslöser oder das gefährliche Verhalten enthalten, und erreichen eine AUROC von über 99 %. Sie schneiden über mehrere Basismodelle, Defection-Auslöser, Trainingsmethoden und Verhaltensweisen hinweg gut ab, etwa beim Schreiben von verwundbarem Code und beim Beleidigen der Nutzer.