AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-22
Menganalisis dan Meningkatkan Keterpantauan Chain-of-Thought melalui Teori Informasi
Judul asli: Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory
Para peneliti menggunakan teori informasi untuk menganalisis kapan monitor berbasis LLM dapat mendeteksi atribut keluaran dari jejak penalaran serta apa yang membatasi akurasinya. Mereka mengusulkan tujuan pelatihan bebas label yang didasarkan pada informasi bersama antara keluaran dan rantai pemikiran. Di berbagai lingkungan, tujuan ini mencegah obfuskasi rantai pemikiran bahkan selama pelatihan melawan monitor dan membantu mengurangi reward hacking ketika reward tugas ditentukan secara tidak sempurna.