AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · Anthropic · 2026-10-09
Vigezo vya Uainishaji vya Kikatiba
Kichwa asilia: Constitutional Classifiers
Modeli kubwa za lugha bado zinaweza kuvunjwa ulinzi (jailbreak), yaani watumiaji hukwepa vizuizi vyake vya usalama ili kupata majibu hatari. Timu ya Utafiti wa Safeguards ya Anthropic ilipendekeza ulinzi unaotegemea Constitutional Classifiers, ambavyo ni vichuja vya ingizo na vya matokeo. Mfano wa awali ulistahimili maelfu ya saa za majaribio ya kushambulia ya binadamu (red teaming) kwa jailbreak za jumla, lakini ulikuwa na viwango vya juu vya kukataa kupita kiasi na gharama ya ziada ya kompyuta. Toleo lililosasishwa lilionyesha ustahimilivu unaofanana kwenye tathmini za sintetiki, likiwa na ongezeko la 0.38% tu la viwango vya kukataa na gharama ndogo ya ziada ya kompyuta.