KI und die schwierigen Probleme der Welt · Theoretische Informatik · Anthropic · 2026-10-09
Verfassungsklassifikatoren
Originaltitel: Constitutional Classifiers
Große Sprachmodelle lassen sich weiterhin jailbreaken, das heißt, Nutzer umgehen ihre Sicherheitsvorkehrungen, um schädliche Ausgaben zu erzeugen. Das Safeguards Research Team von Anthropic schlug eine Verteidigung auf Basis von Constitutional Classifiers vor, bei denen es sich um Eingabe- und Ausgabeklassifikatoren handelt. Ein Prototyp hielt Tausenden Stunden menschlichen Red-Teamings auf universelle Jailbreaks stand, wies jedoch hohe Raten übermäßiger Verweigerung und einen hohen Rechenaufwand auf. Eine aktualisierte Version zeigte bei synthetischen Evaluierungen eine ähnliche Robustheit, mit nur 0,38 % höheren Verweigerungsraten und moderatem zusätzlichem Rechenaufwand.