KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-22
Ein modellfreier RL-Algorithmus in kontinuierlicher Zeit aus zeitdiskreten Off-Policy-Daten mit End-to-End-Garantien
Originaltitel: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
Der Beitrag betrachtet Continuous-Time-Reinforcement-Learning, bei dem der Zustand einer unbekannten stochastischen Differentialgleichung folgt, jedoch nur ein fester Off-Policy-Batch diskreter Zeitübergänge verfügbar ist. Aufbauend auf der PhiBE-Q-Formulierung entwickelt er ein modellfreies PhiBE-Policy-Iteration-(PhiBE-PI)-Framework, das einen einzigen State-Action-Critic direkt aus gesampelten Inkrementen lernt, wobei die Politik verbessert wird, während durchgehend derselbe Batch wiederverwendet wird und Drift oder Diffusion nicht explizit geschätzt werden. Unter linearer Funktionsapproximation etablieren die Autoren eine lokale End-to-End-Suboptimalitätsgarantie, die quantifiziert, wie sich Fehler aus Diskretisierung, Approximation und endlichen Stichproben fortpflanzen, und identifizieren einen Bias-Varianz-Trade-off, bei dem eine feinere Zeitdiskretisierung die Policy-Performance nicht zwangsläufig verbessert.