AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · Anthropic · 2026-10-09
Probe sederhana dapat menangkap sleeper agent
Judul asli: Simple probes can catch sleeper agents
Tim Alignment Science Anthropic melaporkan penelitian awal tentang defection probe, yaitu pengklasifikasi linear yang dilatih pada aktivasi residual stream untuk memprediksi kapan model sleeper agent akan membelot menuju tujuan berbahaya yang tersembunyi. Dilatih pada pasangan kontras generik yang tidak membawa informasi apa pun tentang pemicu maupun perilaku berbahaya, probe ini mencapai AUROC di atas 99%. Probe ini berkinerja baik pada berbagai model dasar, pemicu pembelotan, metode pelatihan, dan perilaku seperti menulis kode yang rentan dan menghina pengguna.