KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-23
Analyse von On-Policy-Policy-Gradient-Methoden bei Verteilungsabweichung
Originaltitel: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
Viele moderne Policy-Gradient-Methoden schätzen Update-Richtungen anhand einer Stichprobenverteilung, die von der diskontierten Zustandsverteilung abweicht, die das Policy-Gradient-Theorem verlangt. Die Studie analysiert, wie sich diese Verteilungsabweichung auf diese Methoden auswirkt, und zeigt die globale Konvergenz der Zielwerte unter verzerrten Updates für tabellarische direkte und Softmax-Parametrisierungen. Sie liefert außerdem ein explizites Kriterium dafür, ob die Abweichung die asymptotische Konvergenz beschleunigt oder verlangsamt, und erweitert die Schranken auf allgemeinere Policy-Parametrisierungen.