AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-21
PhiBE-Q-Learning:オフ方策強化学習と連続時間制御の橋渡し
原題: PhiBE-Q-Learning: Bridging Off-Policy Reinforcement Learning and Continuous-Time Control
未知の確率微分方程式に従うシステムを対象に、離散時刻のオフ方策データのみから連続時間強化学習を行う手法を開発する。連続時間極限では古典的な状態・行動価値関数が行動依存の信号を失うという難点に対し、連続時間制御における新しい状態・行動価値関数Q(s,a)の定義とその支配方程式を導出し、PhiBE近似に基づく反復アルゴリズムをモデルベースとモデルフリーの両設定で提案した。線形関数近似の下で集団レベルの誤差上界と明示的な収束レートを確立し、有限データ版のアルゴリズムを数値的に評価した。