AI与世界难题 · 理论计算机科学 · Anthropic · 2026-10-09
宪法分类器
原标题: Constitutional Classifiers
大型语言模型仍然可能被越狱，即用户绕过其安全防护机制，诱导其输出有害内容。Anthropic的安全防护研究团队提出了一种基于Constitutional Classifiers（即输入和输出分类器）的防御方法。一个原型系统经受住了数千小时针对通用越狱的人工红队测试，但存在较高的过度拒绝率和计算开销。更新版本在合成评估中表现出相近的鲁棒性，拒绝率仅上升0.38%，额外计算开销也较为适中。