透過資訊理論分析與改進思考鏈可監控性

原標題: Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory

研究人員運用資訊理論,分析以 LLM 為基礎的監控器何時能從推理軌跡中偵測輸出的屬性,以及哪些因素會限制其準確度。他們提出一種以輸出與思考鏈之間互資訊為基礎的免標籤訓練目標。在多種環境中,即使在與監控器對抗的訓練過程中,該目標也防止了思考鏈混淆,並有助於在任務獎勵定義不完善時減少獎勵駭取。