IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-21
PhiBE-Q-Learning: conectando o aprendizado por reforço off-policy e o controle em tempo contínuo
Título original: PhiBE-Q-Learning: Bridging Off-Policy Reinforcement Learning and Continuous-Time Control
O artigo desenvolve um método off-policy para aprendizado por reforço em tempo contínuo, em que a dinâmica do sistema segue uma EDS desconhecida e apenas dados de trajetória em tempo discreto estão disponíveis. Para lidar com a perda do sinal dependente da ação na função de valor estado-ação discreta clássica no limite de tempo contínuo, os autores introduzem uma nova definição da função de valor estado-ação Q(s,a), derivam a equação que a rege e propõem algoritmos iterativos baseados na aproximação PhiBE tanto em cenários baseados em modelo quanto livres de modelo. Sob aproximação linear de funções, eles estabelecem limites de erro e taxas de convergência explícitas em nível populacional, e avaliam numericamente o algoritmo com dados finitos.