IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-22
Um algoritmo de RL em tempo contínuo sem modelo a partir de dados off-policy de tempo discreto com garantias de ponta a ponta
Título original: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
O artigo considera aprendizado por reforço em tempo contínuo, em que o estado segue uma equação diferencial estocástica desconhecida, mas apenas um lote off-policy fixo de transições em tempo discreto está disponível. Partindo da formulação PhiBE-Q, o artigo desenvolve uma estrutura sem modelo de iteração de política PhiBE (PhiBE-PI) que aprende um único crítico estado-ação diretamente a partir de incrementos amostrados, aprimorando a política enquanto reutiliza o mesmo lote durante todo o processo e sem estimar explicitamente a deriva ou a difusão. Sob aproximação linear de funções, os autores estabelecem uma garantia local de subotimalidade de ponta a ponta que quantifica como os erros de discretização, de aproximação e de amostragem finita se propagam, e identificam um trade-off entre viés e variância pelo qual uma discretização de tempo mais refinada não necessariamente melhora o desempenho da política.