AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-21
PhiBE-Q-Learning: Menjembatani Pembelajaran Penguatan Off-Policy dan Kendali Waktu Kontinu
Judul asli: PhiBE-Q-Learning: Bridging Off-Policy Reinforcement Learning and Continuous-Time Control
Makalah ini mengembangkan metode off-policy untuk reinforcement learning waktu kontinu, di mana dinamika sistem mengikuti sebuah SDE yang tidak diketahui dan hanya data trayektori waktu diskret yang tersedia. Untuk mengatasi hilangnya sinyal yang bergantung pada aksi dalam fungsi nilai state-action waktu diskret klasik pada limit waktu kontinu, para penulis memperkenalkan definisi baru dari fungsi nilai state-action Q(s,a), menurunkan persamaan yang mengaturnya, dan mengusulkan algoritma iteratif berdasarkan aproksimasi PhiBE baik dalam pengaturan model-based maupun model-free. Di bawah aproksimasi fungsi linear, mereka menetapkan batas galat dan laju konvergensi eksplisit pada tingkat populasi, serta mengevaluasi algoritma data-terbatas secara numerik.