ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-21
PhiBE-Q-Learning: связывая off-policy обучение с подкреплением и управление в непрерывном времени
Оригинальное название: PhiBE-Q-Learning: Bridging Off-Policy Reinforcement Learning and Continuous-Time Control
В работе развивается off-policy-метод для обучения с подкреплением в непрерывном времени, где динамика системы подчиняется неизвестному СДУ, а доступны лишь дискретные по времени траекторные данные. Чтобы устранить потерю зависящего от действия сигнала в классической дискретно-временной функции ценности состояние-действие в непрерывно-временном пределе, авторы вводят новое определение функции ценности состояние-действие Q(s,a), выводят уравнение, которому она подчиняется, и предлагают итеративные алгоритмы на основе аппроксимации PhiBE как в model-based, так и в model-free постановках. При линейной аппроксимации функций они устанавливают оценки ошибок и явные скорости сходимости на уровне генеральной совокупности, а также численно оценивают алгоритм в условиях конечных данных.