ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-21
Исповедь замаскированного MDP
Оригинальное название: Confessions of a Masked MDP
В некоторых приложениях обучения с подкреплением определение недопустимых пар «состояние–действие» — маски действий — является основным вычислительным узким местом, хотя множество действий обычно считается известным. Авторы изучают объединение поиска оптимальной политики с обучением самой маски в линейном марковском процессе принятия решений (MDP), где каждая попытка совершить действие раскрывает точное значение линейной оценки, определяющей его допустимость. Детерминированный оптимистичный алгоритм оптимизации оказывается минимаксно оптимальным и вычислительно эффективным, но субоптимальным на невырожденных экземплярах задачи, тогда как альтернативный подход, планирующий своё исследование и интерпретируемый как аналог information-directed sampling для детерминированной обратной связи, также эффективен; предложено его применение к трансферному обучению, где множество недопустимых действий меняется со временем.