ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-22
Алгоритм обучения с подкреплением в непрерывном времени без модели, обучаемый на дискретных данных вне политики, со сквозными гарантиями
Оригинальное название: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
В работе рассматривается обучение с подкреплением в непрерывном времени, где состояние подчиняется неизвестному стохастическому дифференциальному уравнению, но доступен лишь фиксированный off-policy батч дискретных по времени переходов. Опираясь на формулировку PhiBE-Q, работа развивает свободный от модели фреймворк итераций по политике PhiBE (PhiBE-PI), который обучает единственный критик «состояние–действие» непосредственно по выборочным приращениям, улучшая политику, повторно используя один и тот же батч на протяжении всего процесса и не оценивая явно дрейф или диффузию. При линейной аппроксимации функций авторы устанавливают локальную сквозную гарантию субоптимальности, количественно описывающую распространение ошибок дискретизации, аппроксимации и конечной выборки, и выявляют компромисс между смещением и дисперсией, при котором более мелкое временное разбиение не обязательно улучшает качество политики.