L'IA face aux grands problèmes du monde · Informatique théorique · Anthropic · 2026-10-07
Des chercheurs automatisés peuvent atténuer de manière fiable les défaillances d'alignement
Titre original: Automated researchers can reliably mitigate alignment failures
Anthropic a demandé à Claude d'entraîner de manière autonome des modèles afin d'améliorer leurs performances sur des benchmarks publics couvrant 10 catégories de défaillances d'alignement. Pour les 10, Claude a trouvé des correctifs qui ont fait progresser les scores sur le benchmark ciblé sans dégrader les capacités générales. Ces travaux visent à permettre à la recherche en sécurité de suivre le rythme alors que l'IA contribue de plus en plus à la construction de l'IA.