KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-21
Continuous-Time Policy Gradient aus diskreten Daten: Konvergenzanalyse und modellfreie Algorithmen
Originaltitel: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
Continuous-Time Reinforcement Learning sucht eine optimale Policy unter unbekannten, durch stochastische Differentialgleichungen beschriebenen Dynamiken und nutzt dabei Beobachtungen, die zu diskreten Zeitpunkten gesammelt wurden. Das Autorenteam entwickelt ein Policy-Gradient-Framework mit rigoroser Konvergenzanalyse, das ein Performance-Difference-Lemma und Policy-Gradient-Formeln für randomisierte und parametrisierte Policies umfasst, die exponentielle Konvergenz eines entropieregularisierten Policy-Flows sowie eine Schranke für diskrete Updates, die Critic-Fehler, Policy-Regressionsfehler und Lernschrittweite explizit trennt. Die Integration des Frameworks mit PhiBE, das aus diskreten Übergangsdaten einen zeitkontinuierlichen Surrogat-Generator aufbaut, ergibt modellfreie On-Policy- und Off-Policy-Actor-Critic-Algorithmen, deren Leistung und Stabilität an einem entropieregularisierten linear-quadratischen Regler und einem nichtlinearen Roboter auf Rädern demonstriert werden.