AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-21
Gradianti ya Sera ya Wakati Unaoendelea kutoka kwa Data za Discrete: Uchambuzi wa Ukusanyiko na Algoriti Zisizotegemea Mfano
Kichwa asilia: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
Ujifunzaji wa uimarishaji wa wakati unaoendelea unatafuta sera bora chini ya mienendo isiyojulikana inayotawaliwa na milinganyo ya tofauti ya bahati nasibu, kwa kutumia uchunguzi uliokusanywa kwa nyakati za discrete. Waandishi hutengeneza mfumo wa gradianti ya sera wenye uchambuzi madhubuti wa ukusanyiko, ukijumuisha lemma ya tofauti ya utendaji na mafundo ya gradianti ya sera kwa sera za nasibu na zilizopangwa vigezo, mkusanyiko wa kielelezo wa mtiririko wa sera ulioimarishwa kwa entropy, na mpaka wa sasisho la discrete unaozitenga wazi kosa la critic, kosa la regression ya sera, na ukubwa wa hatua ya kujifunza. Kuunganisha mfumo huu na PhiBE, inayojenga kizalishaji mbadala cha wakati unaoendelea kutoka kwa data za mageuzi za discrete, kunatoa algoriti za actor-critic zisizotegemea mfano za aina ya on-policy na off-policy ambazo utendaji na uthabiti wake vimeonyeshwa kwenye kidhibiti cha linear-quadratic kilichoimarishwa kwa entropy na kwenye roboti ya magurudumu isiyo na ulinganifu wa mstari.