L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-23
Analyse des méthodes de gradient de politique on-policy sous un décalage de distribution
Titre original: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
De nombreuses méthodes de gradient de politique de pointe estiment les directions de mise à jour à l'aide d'une distribution d'échantillonnage différente de la distribution d'états actualisée requise par le théorème du gradient de politique. L'étude analyse l'effet de ce décalage de distribution sur ces méthodes et démontre la convergence globale des valeurs de l'objectif sous des mises à jour biaisées pour les paramétrisations tabulaires directes et softmax. Elle donne aussi un critère explicite indiquant si le décalage accélère ou ralentit la convergence asymptotique, et étend les bornes à des paramétrisations de politique plus générales.