IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · Anthropic · 2026-10-09
Classificadores Constitucionais
Título original: Constitutional Classifiers
Os grandes modelos de linguagem ainda podem sofrer jailbreak, ou seja, usuários contornam suas barreiras de segurança para obter respostas nocivas. A equipe de Pesquisa em Salvaguardas da Anthropic propôs uma defesa baseada em Classificadores Constitucionais, que são classificadores de entrada e de saída. Um protótipo resistiu a milhares de horas de red teaming humano em busca de jailbreaks universais, mas apresentou altas taxas de recusa excessiva e sobrecarga computacional. Uma versão atualizada mostrou robustez semelhante em avaliações sintéticas, com apenas 0,38% de aumento nas taxas de recusa e custo computacional adicional moderado.