通过信息论分析与改进思维链可监控性

原标题: Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory

研究人员利用信息论分析了基于 LLM 的监控器何时能够从推理轨迹中检测出输出的属性，以及哪些因素限制了其准确性。他们提出了一种基于输出与思维链之间互信息的无标签训练目标。在多个环境中，即使在与监控器对抗训练的过程中，它也能防止思维链混淆，并有助于在任务奖励设定不完善时减少奖励作弊。