AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-21
PhiBE-Q-Learning: Kuunganisha Off-Policy Reinforcement Learning na Udhibiti wa Muda Usiokatika
Kichwa asilia: PhiBE-Q-Learning: Bridging Off-Policy Reinforcement Learning and Continuous-Time Control
Makala hukuza njia ya off-policy ya ujifunzaji wa kuimarishwa wa muda unaoendelea (continuous-time reinforcement learning), ambapo mienendo ya mfumo inafuata SDE isiyojulikana na ni data za trajectory za wakati wa discrete pekee zinazopatikana. Ili kushughulikia kupotea kwa ishara inayotegemea action katika kitendaji cha kawaida cha thamani ya hali-action cha wakati wa discrete katika kikomo cha muda unaoendelea, waandishi huleta ufafanuzi mpya wa kitendaji cha thamani ya hali-action Q(s,a), hupata kwa kuhesabu mlinganyo wake unaotawala, na kupendekeza algoriti za iterative zinazotegemea makadirio ya PhiBE katika mazingira ya model-based na model-free vyote viwili. Chini ya makadirio ya kitendaji cha mstari, huanzisha mipaka ya makosa na viwango vya wazi vya convergence katika kiwango cha population, na kutathmini kwa nambari algoriti ya finite-data.