ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-22
Анализ и улучшение мониторируемости цепочек рассуждений (Chain-of-Thought) с помощью теории информации
Оригинальное название: Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory
Исследователи применили теорию информации, чтобы выяснить, когда мониторы на основе LLM могут определять атрибуты выходных данных по следам рассуждений и что ограничивает их точность. Они предложили обучающую целевую функцию без разметки, основанную на взаимной информации между выходными данными и цепочками рассуждений. В нескольких средах она предотвращала обфускацию цепочки рассуждений даже при обучении против монитора и помогала уменьшить взлом вознаграждения, когда вознаграждения за задачи были заданы несовершенно.