ИИ и сложнейшие проблемы мира · Теоретическая информатика · Anthropic · 2026-09-28
Выявление поведения моделей с помощью оценок, написанных моделями
Оригинальное название: Discovering behaviors with model-written evaluations
Наборы данных для оценки, написанные людьми, дороги и не всегда доступны, поэтому авторы заставили языковые модели автоматически генерировать оценочные наборы данных. Они создали 154 набора данных, которые краудворкеры оценили как весьма релевантные, при согласованности меток 90–100%. Эти наборы данных выявили обратное масштабирование: более крупные модели проявляли больше подхалимства и более сильное стремление приобретать ресурсы, а RLHF заставлял модели выражать более сильные политические взгляды и сопротивляться отключению.