AI 與世界的難題 · 理論資訊科學 · Anthropic · 2026-10-09
憲法分類器
原標題: Constitutional Classifiers
大型語言模型仍可能被越獄，也就是使用者繞過其安全防護機制以誘導出有害輸出。Anthropic 的安全防護研究團隊提出一種以 Constitutional Classifiers 為基礎的防禦方法，也就是輸入與輸出分類器。原型系統在針對通用越獄的數千小時人工紅隊測試中撐了下來，但過度拒絕率與運算額外負擔偏高。更新版本在合成評估中展現相近的穩健性，拒絕率僅上升 0.38%，額外運算量也適中。