ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-22
Обучение с подкреплением на основе минимальных свидетелей
Оригинальное название: Minimal Witness Reinforcement Learning
В работе рассматривается повторяющийся вопрос о том, какие неприводимые условия достаточны для получения результата; поиск нескольких минимальных достаточных условий («свидетелей») — на который стандартный RL обычно отвечает единственным или избыточным решением — формализуется как идентификация минимальных свидетелей. Minimal-Witness Reinforcement Learning (MWRL) берёт объединение множеств, сертифицированных успешными предложениями политик, и засчитывает каждому предложению то покрытие, которое объединение потеряло бы без него, объединяя минимальность и восстановление альтернатив на основе единственного бита чёрного ящика-верификатора. Из этого принципа авторы выводят планировщик на основе итераций по ценности, восстанавливающий целые семейства свидетелей, и метод градиента политики, масштабируемый до больших языковых моделей; при этом MWRL восстанавливает большинство минимальных свидетелей там, где другие методы возвращают избыточные надмножества или единственного свидетеля.