ИИ и сложнейшие проблемы мира · Теоретическая информатика · Anthropic · 2026-09-28
Конкретные и общие принципы для Constitutional AI
Оригинальное название: Specific versus general principles for Constitutional AI
Исследование изучает, может ли Constitutional AI, использующий обратную связь от ИИ на основе письменных принципов, обучаться на одном широком принципе. Авторы протестировали принцип «делай то, что лучше всего для человечества» и обнаружили, что крупнейшие диалоговые модели обобщили его до безвредных ассистентов, не заявляющих об интересе к власти. Более подробные принципы по-прежнему давали более тонкий контроль над конкретными видами вреда.