ИИ и сложнейшие проблемы мира · Теоретическая информатика · Anthropic · 2026-10-09
Конституционные классификаторы
Оригинальное название: Constitutional Classifiers
Большие языковые модели по-прежнему можно «взломать» (jailbreak): пользователи обходят их защитные ограничения, чтобы получить вредоносные ответы. Команда Anthropic по исследованию защитных механизмов предложила защиту на основе конституционных классификаторов — классификаторов входных и выходных данных. Прототип выдержал тысячи часов ручного red teaming на универсальные джейлбрейки, но имел высокий уровень избыточных отказов и вычислительные издержки. Обновлённая версия показала схожую устойчивость на синтетических оценках, при этом уровень отказов вырос всего на 0,38%, а дополнительные вычислительные затраты были умеренными.