L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-22
Analyser et améliorer la monitorabilité du Chain-of-Thought grâce à la théorie de l'information
Titre original: Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory
Les chercheurs ont utilisé la théorie de l'information pour analyser quand les moniteurs basés sur les LLM peuvent détecter des attributs des sorties à partir des traces de raisonnement et ce qui limite leur précision. Ils ont proposé un objectif d'entraînement sans étiquettes fondé sur l'information mutuelle entre les sorties et les chaînes de pensée. Dans plusieurs environnements, cet objectif a empêché l'obfuscation des chaînes de pensée, même pendant un entraînement contre un moniteur, et a contribué à réduire le reward hacking lorsque les récompenses des tâches étaient imparfaitement spécifiées.