IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-23
Análise de métodos de gradiente de política on-policy sob incompatibilidade de distribuição
Título original: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
Muitos métodos de gradiente de política de última geração estimam as direções de atualização usando uma distribuição de amostragem diferente da distribuição de estados descontada exigida pelo teorema do gradiente de política. O estudo analisa como essa incompatibilidade de distribuição afeta esses métodos e demonstra a convergência global dos valores do objetivo sob atualizações enviesadas para parametrizações tabulares direta e softmax. Também fornece um critério explícito para saber se a incompatibilidade acelera ou retarda a convergência assintótica, e estende os limites a parametrizações de política mais gerais.