KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-22
Analyse und Verbesserung der Überwachbarkeit von Chain-of-Thought durch Informationstheorie
Originaltitel: Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory
Die Forscher nutzten die Informationstheorie, um zu analysieren, wann LLM-basierte Monitore Attribute von Ausgaben aus Reasoning Traces erkennen können und was ihre Genauigkeit begrenzt. Sie schlugen ein label-freies Trainingsziel vor, das auf der gegenseitigen Information zwischen Ausgaben und Chains of Thought basiert. In mehreren Umgebungen verhinderte es die Verschleierung der Chain of Thought, selbst beim Training gegen einen Monitor, und trug dazu bei, Reward Hacking zu reduzieren, wenn Aufgabenbelohnungen unpräzise spezifiziert waren.