Intelligence SynthesisJAEN

La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-19

Rechazar no es ser robusto: medición de la alcanzabilidad dañina en modelos de lenguaje autorregresivos

Título original: Refusal Is Not Robustness: Measuring Harmful Reachability in Autoregressive Language Models

Las evaluaciones de seguridad basadas en jailbreak suelen informar la tasa de éxito del ataque, que solo examina las salidas muestreadas y pasa por alto las trayectorias de generación dañinas que siguen siendo probables bajo una respuesta segura. Los autores presentan el análisis de continuación acotada, que modela la generación como un proceso estocástico y calcula la probabilidad, en horizonte finito, de alcanzar una continuación dañina mediante verificación probabilística exacta de modelos. En cuatro LLM ajustados por instrucciones y 100 comportamientos de JailbreakBench, distingue modelos que parecen idénticos según la ASR y ayuda a orientar el esfuerzo de red-teaming.

Leer el original ↗

Todos los elementos →