AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · Anthropic · 2026-10-09
Pengklasifikasi Konstitusional
Judul asli: Constitutional Classifiers
Model bahasa besar masih dapat di-jailbreak, artinya pengguna melewati pengaman keselamatannya untuk memancing keluaran berbahaya. Tim Safeguards Research Anthropic mengusulkan pertahanan berbasis Constitutional Classifiers, yaitu pengklasifikasi masukan dan keluaran. Sebuah prototipe bertahan menghadapi ribuan jam red teaming oleh manusia untuk jailbreak universal, tetapi memiliki tingkat penolakan berlebih dan beban komputasi yang tinggi. Versi yang diperbarui menunjukkan ketahanan serupa pada evaluasi sintetis, dengan kenaikan tingkat penolakan hanya 0,38% dan tambahan komputasi yang moderat.