AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · Anthropic · 2026-10-09
Probes rahisi zinaweza kuwakamata sleeper agents
Kichwa asilia: Simple probes can catch sleeper agents
Timu ya Alignment Science ya Anthropic inaripoti utafiti wa awali kuhusu defection probes, ambazo ni vitambulishi vya mstari vilivyofunzwa kwa uanzishaji wa residual stream ili kutabiri wakati modeli za sleeper agent zitakapogeuka kuelekea lengo hatari lililofichwa. Zikifunzwa kwa jozi za kulinganisha za jumla zisizobeba taarifa yoyote kuhusu kichochezi wala tabia hatari, probes hufikia AUROC zaidi ya 99%. Zinafanya vizuri katika modeli msingi nyingi, vichochezi vya defection, mbinu za mafunzo, na tabia kama vile kuandika msimbo wenye udhaifu na kumtukana mtumiaji.