AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-22
一種從離散時間異策略資料學習、具端對端保證的無模型連續時間強化學習演算法
原標題: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
本文探討連續時間強化學習，其中狀態遵循一個未知的隨機微分方程，但僅有一批固定的 off-policy 離散時間轉移資料可用。本文以 PhiBE-Q 公式化為基礎，發展出無模型的 PhiBE 策略迭代（PhiBE-PI）框架，直接從抽樣增量中學習單一的狀態-動作 critic，在全程重複使用同一批資料的情況下改進策略，且無須明確估計漂移或擴散。在線性函數近似下，作者建立了局部端對端的次佳性保證，量化離散化、近似與有限樣本誤差如何傳播，並指出一種偏差-變異數權衡，使得更精細的時間離散化不一定能改善策略效能。