ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-19
Отказ — не устойчивость: измерение достижимости вредоносного вывода в авторегрессионных языковых моделях
Оригинальное название: Refusal Is Not Robustness: Measuring Harmful Reachability in Autoregressive Language Models
Оценки безопасности на основе джейлбрейков обычно сообщают долю успешных атак (ASR), которая учитывает только выборочные выходные данные и упускает вредоносные пути генерации, остающиеся вероятными под безопасным ответом. Авторы вводят анализ ограниченного продолжения, который моделирует генерацию как стохастический процесс и вычисляет вероятность достижения вредоносного продолжения на конечном горизонте с помощью точной вероятностной верификации моделей. На четырёх LLM с инструктивной настройкой и 100 сценариях JailbreakBench он различает модели, неотличимые по ASR, и помогает направлять усилия red-teaming.