L'IA face aux grands problèmes du monde · Informatique théorique · Anthropic · 2026-10-09
Classificateurs constitutionnels
Titre original: Constitutional Classifiers
Les grands modèles de langage peuvent encore être « jailbreakés », c'est-à-dire que les utilisateurs contournent leurs garde-fous de sécurité pour obtenir des sorties nuisibles. L'équipe de recherche sur les garanties de sécurité d'Anthropic a proposé une défense fondée sur des classificateurs constitutionnels, qui sont des classificateurs d'entrée et de sortie. Un prototype a résisté à des milliers d'heures de red teaming humain pour des jailbreaks universels, mais présentait des taux de sur-refus élevés et une surcharge de calcul importante. Une version mise à jour a montré une robustesse similaire sur des évaluations synthétiques, avec seulement une hausse de 0,38 % des taux de refus et un surcoût de calcul modéré.