La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-23
Análisis de los métodos de gradiente de política on-policy bajo el desajuste de distribución
Título original: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
Muchos métodos de gradiente de política de última generación estiman las direcciones de actualización usando una distribución de muestreo que difiere de la distribución de estados descontada que exige el teorema del gradiente de política. El estudio analiza cómo afecta este desajuste de distribución a dichos métodos y demuestra la convergencia global de los valores objetivo bajo actualizaciones sesgadas para las parametrizaciones tabulares directa y softmax. También ofrece un criterio explícito para determinar si el desajuste acelera o ralentiza la convergencia asintótica, y extiende las cotas a parametrizaciones de política más generales.