La IA y los problemas difíciles del mundo · Informática teórica · Anthropic · 2026-10-09
Clasificadores constitucionales
Título original: Constitutional Classifiers
Los modelos de lenguaje de gran tamaño aún pueden ser objeto de jailbreak, es decir, los usuarios eluden sus barreras de seguridad para obtener respuestas dañinas. El equipo de Investigación de Salvaguardas de Anthropic propuso una defensa basada en clasificadores constitucionales, que son clasificadores de entrada y de salida. Un prototipo resistió miles de horas de red teaming humano frente a jailbreaks universales, pero tenía altas tasas de rechazo excesivo y sobrecarga de cómputo. Una versión actualizada mostró una robustez similar en evaluaciones sintéticas, con solo un aumento del 0.38% en las tasas de rechazo y un cómputo adicional moderado.