ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-21
Градиент политики в непрерывном времени на дискретных данных: анализ сходимости и алгоритмы без модели
Оригинальное название: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
Обучение с подкреплением в непрерывном времени ищет оптимальную политику в условиях неизвестной динамики, описываемой стохастическими дифференциальными уравнениями, используя наблюдения, собранные в дискретные моменты времени. Авторы разрабатывают каркас градиента политики со строгим анализом сходимости, охватывающий лемму о разности производительностей и формулы градиента политики для рандомизированных и параметризованных политик, экспоненциальную сходимость потока политик с энтропийной регуляризацией, а также границу для дискретного обновления, явно разделяющую ошибку критика, ошибку регрессии политики и шаг обучения. Интеграция этого каркаса с PhiBE, который строит суррогатный генератор в непрерывном времени по дискретным данным переходов, даёт работающие без модели on-policy и off-policy алгоритмы actor-critic, производительность и стабильность которых продемонстрированы на линейно-квадратичном регуляторе с энтропийной регуляризацией и нелинейном колёсном роботе.