IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-21
Gradiente de Política em Tempo Contínuo a Partir de Dados Discretos: Análise de Convergência e Algoritmos Sem Modelo
Título original: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
O aprendizado por reforço em tempo contínuo busca uma política ótima sob dinâmicas desconhecidas regidas por equações diferenciais estocásticas, usando observações coletadas em tempos discretos. Os autores desenvolvem uma estrutura de gradiente de política com análise rigorosa de convergência, abrangendo um lema de diferença de desempenho e fórmulas de gradiente de política para políticas aleatorizadas e parametrizadas, a convergência exponencial de um fluxo de política com regularização por entropia e um limite de atualização discreta que separa explicitamente o erro do crítico, o erro de regressão da política e o tamanho do passo de aprendizado. A integração da estrutura com o PhiBE, que constrói um gerador substituto em tempo contínuo a partir de dados de transição discretos, produz algoritmos actor-critic sem modelo, on-policy e off-policy, cujo desempenho e estabilidade são demonstrados em um regulador linear-quadrático com regularização por entropia e em um robô não linear com rodas.