AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-22
離散時間オフ方策データからのエンドツーエンド保証付きモデルフリー連続時間強化学習アルゴリズム
原題: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
状態が未知の確率微分方程式に従う連続時間強化学習を、離散時間の遷移からなる固定のオフ方策バッチのみから扱う。PhiBE-Q定式化に基づき、単一の状態・行動クリティックをサンプル増分から直接学習し、ドリフトや拡散を明示的に推定せずに同一バッチを再利用しながら方策を改善する、モデルフリーのPhiBE方策反復(PhiBE-PI)フレームワークを開発した。線形関数近似での実装に対し、離散化・関数近似・有限サンプル誤差の伝播を定量化した局所的なエンドツーエンド劣最適性保証を確立するとともに、サンプリング間隔を細かくすると統計誤差が増えうるため、細かい離散化が必ずしも性能向上につながらないというバイアス・分散トレードオフを示した。