AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-22
Algoriti ya RL ya Wakati Unaoendelea Bila Modeli kutoka kwa Data ya Off-Policy ya Wakati Mbiliki yenye Dhamana za Mwanzo hadi Mwisho
Kichwa asilia: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
Makala inazingatia ujifunzaji wa kuimarisho (RL) wa muda unaoendelea ambapo hali inafuata mlinganyo tofauti wa stokastiki usiojulikana, lakini ni kundi moja tu la off-policy lililowekwa wazi la mabadiliko ya wakati mtawanyiko linalopatikana. Kwa kujenga juu ya muundo wa PhiBE-Q, inatengeneza mfumo wa PhiBE policy iteration (PhiBE-PI) usio na modeli, unaojifunza critic moja ya hali-kitendo moja kwa moja kutoka kwa nyongeza zilizosampleiwa, ukiboresha sera huku ukitumia tena kundi hilo hilo katika hatua zote na bila kukadiria wazi drift au diffusion. Chini ya makadirio ya kazi ya mstari, waandishi wanaanzisha dhamana ya ndani ya mwisho-hadi-mwisho ya ubora-chini inayopima jinsi makosa ya mtawanyiko, ya makadirio, na ya sampuli finyu yanavyosambaa, na kutambua mabadilishano ya bias-variance ambapo mtawanyiko wa wakati wenye undani zaidi haiboreshi kwa lazima utendaji wa sera.