AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-21
Kutubu kwa MDP Iliyofichwa
Kichwa asilia: Confessions of a Masked MDP
Katika baadhi ya matumizi ya kujifunza kwa kuimarisha (reinforcement learning), kutambua ni jozi zipi za hali-utendaji (state-action) zisizo halali—barakoa ya utendaji (action mask)—ni kikwazo kikuu cha uhesabiaji, ingawa seti ya vitendo kwa kawaida hudhaniwa kuwa inajulikana. Waandishi huchunguza kuunganisha utafutaji wa sera bora zaidi na kujifunza barakoa yenyewe chini ya MDP ya mstari ambamo kila utendaji unaojaribiwa unafichua thamani kamili ya alama ya mstari inayobainisha uhalali wake. Algoriti moja ya matimizo ya uhakika yenye mtazamo wa matumaini inathibitika kuwa bora ki-minimax na bora kwa uhesabiaji, lakini haifi kiwango cha juu kabisa kwenye mifano isiyokuwa degenerate, huku mbadala unaopanga utafutaji wake, unaotafsiriwa kama mfanano wa information-directed sampling kwa mrejesho wa uhakika, pia ukiwa na ufanisi, na unatumika katika kujifunza kuhamisha ambapo seti ya vitendo batili hubadilika kadri wakati unavyopita.