KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-21
PhiBE-Q-Learning: Eine Brücke zwischen Off-Policy-Reinforcement-Learning und Regelung in kontinuierlicher Zeit
Originaltitel: PhiBE-Q-Learning: Bridging Off-Policy Reinforcement Learning and Continuous-Time Control
Die Arbeit entwickelt eine Off-Policy-Methode für Reinforcement Learning in kontinuierlicher Zeit, bei der die Systemdynamik einer unbekannten SDE folgt und nur Trajektoriendaten in diskreter Zeit verfügbar sind. Um den Verlust des aktionsabhängigen Signals in der klassischen Zustands-Aktions-Wertfunktion in diskreter Zeit im kontinuierlichen Grenzwert zu adressieren, führen die Autoren eine neue Definition der Zustands-Aktions-Wertfunktion Q(s,a) ein, leiten ihre Bestimmungsgleichung her und schlagen iterative Algorithmen auf Basis der PhiBE-Approximation sowohl in modellbasierten als auch in modellfreien Settings vor. Unter linearer Funktionsapproximation beweisen sie Fehlerabschätzungen und explizite Konvergenzraten auf Populationsniveau und evaluieren den Algorithmus für endliche Datenmengen numerisch.