ИИ и сложнейшие проблемы мира · Теоретическая информатика · Anthropic · 2026-10-07
Автоматизированные исследователи могут надёжно устранять сбои выравнивания
Оригинальное название: Automated researchers can reliably mitigate alignment failures
Anthropic поручила Claude самостоятельно обучать модели, чтобы улучшить результаты на публичных бенчмарках, охватывающих 10 категорий сбоев выравнивания. Во всех 10 случаях Claude нашёл исправления, повысившие целевые оценки на бенчмарках без ухудшения общих возможностей. Цель работы — позволить исследованиям безопасности не отставать по мере того, как ИИ всё активнее участвует в создании ИИ.