AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-21
Policy Gradient Waktu Kontinu dari Data Diskrit: Analisis Konvergensi dan Algoritma Model-Free
Judul asli: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
Reinforcement learning waktu kontinu mencari kebijakan optimal di bawah dinamika yang tidak diketahui yang diatur oleh persamaan diferensial stokastik, dengan menggunakan pengamatan yang dikumpulkan pada waktu-waktu diskrit. Para penulis mengembangkan kerangka kerja policy gradient dengan analisis konvergensi yang ketat, yang mencakup lemma perbedaan kinerja dan rumus policy gradient untuk kebijakan terandomisasi dan terparametrisasi, konvergensi eksponensial dari aliran kebijakan yang teregularisasi entropi, serta batas pembaruan diskrit yang secara eksplisit memisahkan kesalahan critic, kesalahan regresi kebijakan, dan ukuran langkah pembelajaran. Mengintegrasikan kerangka kerja ini dengan PhiBE, yang membangun generator surogat waktu kontinu dari data transisi diskrit, menghasilkan algoritma actor-critic model-free on-policy dan off-policy yang kinerja dan stabilitasnya didemonstrasikan pada regulator linier-kuadratik yang teregularisasi entropi dan robot beroda nonlinier.