La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-22
Análisis y mejora de la monitorabilidad del Chain-of-Thought mediante la teoría de la información
Título original: Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory
Los investigadores utilizaron la teoría de la información para analizar cuándo los monitores basados en LLM pueden detectar atributos de las salidas a partir de las trazas de razonamiento y qué limita su precisión. Propusieron un objetivo de entrenamiento sin etiquetas basado en la información mutua entre las salidas y las cadenas de pensamiento. En múltiples entornos, este objetivo evitó la ofuscación de la cadena de pensamiento incluso durante el entrenamiento contra un monitor y ayudó a reducir el reward hacking cuando las recompensas de las tareas estaban especificadas de manera imperfecta.