AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-22
Algoritma RL Waktu-Kontinu Tanpa Model dari Data Off-Policy Waktu-Diskrit dengan Jaminan End-to-End
Judul asli: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
Makalah ini membahas reinforcement learning waktu kontinu di mana state mengikuti persamaan diferensial stokastik yang tidak diketahui tetapi hanya tersedia satu batch off-policy yang tetap berisi transisi waktu diskrit. Berlandaskan formulasi PhiBE-Q, makalah ini mengembangkan kerangka kerja PhiBE policy iteration (PhiBE-PI) tanpa model yang mempelajari satu critic state-action secara langsung dari inkrement hasil sampling, meningkatkan kebijakan sambil menggunakan kembali batch yang sama sepanjang proses dan tanpa memperkirakan drift maupun difusi secara eksplisit. Di bawah aproksimasi fungsi linear, para penulis menetapkan jaminan suboptimalitas end-to-end lokal yang mengkuantifikasi bagaimana kesalahan diskretisasi, aproksimasi, dan finite-sample merambat, serta mengidentifikasi trade-off bias-variance di mana diskretisasi waktu yang lebih halus tidak selalu meningkatkan kinerja kebijakan.