AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-21
離散データからの連続時間方策勾配:収束解析とモデルフリーアルゴリズム
原題: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
連続時間強化学習は、確率微分方程式に従う未知のダイナミクスのもとで、離散時刻に取得した観測から最適方策を求める問題である。本論文は厳密な収束解析と離散データからの学習を結合した方策勾配フレームワークを構築し、性能差補題とランダム化・パラメータ化方策の方策勾配公式の導出、エントロピー正則化方策フローの正則化最適解への指数的収束、評価器誤差・方策回帰誤差・学習ステップサイズの寄与を明示的に分離した離散パラメータ更新の収束評価を示した。離散遷移データから連続時間のサロゲート生成子を構成するPhiBEと統合してオンポリシー・オフポリシーのモデルフリーアクタークリティック法を導出し、エントロピー正則化線形二次レギュレータと非線形車輪型ロボットの数値実験で、既知・データ駆動のいずれのダイナミクスでも性能と安定性を実証した。