AIが解く世界の難問 · 計算機科学の理論 · Anthropic · 2026-10-09
Constitutional Classifiers：LLMへのジェイルブレイク防御
原題: Constitutional Classifiers
LLMは安全性の訓練を受けていても、安全策を回避して有害な出力を引き出すジェイルブレイクに弱い。Anthropicの安全性研究チームは、入力と出力の分類器である「Constitutional Classifiers」に基づく防御システムを提案した。プロトタイプは人間による数千時間の普遍的ジェイルブレイクへのレッドチーミングに耐えたが、過剰な拒否率と計算コストの増加を伴った。改良版は合成評価で同等の堅牢性を示し、拒否率の上昇は0.38%、追加の計算コストは中程度にとどまった。