AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-21
PhiBE-Q-Learning：橋接異策略強化學習與連續時間控制
原標題: PhiBE-Q-Learning: Bridging Off-Policy Reinforcement Learning and Continuous-Time Control
本文為連續時間強化學習發展一種離線策略（off-policy）方法，其中系統動力學遵循一個未知的隨機微分方程，且僅有離散時間的軌跡資料可用。為了解決經典離散時間狀態-動作價值函數在連續時間極限下喪失動作相依訊號的問題，作者對狀態-動作價值函數 Q(s,a) 提出新的定義，推導其統御方程式，並在基於模型與無模型兩種設定下，提出基於 PhiBE 近似的迭代演算法。在線性函數近似下，他們於母體層面建立誤差界與明確的收斂速率，並對有限資料下的演算法進行數值評估。