AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-21
Pengakuan sebuah MDP Bertopeng
Judul asli: Confessions of a Masked MDP
Pada beberapa aplikasi reinforcement learning, menentukan pasangan state-action mana yang tidak valid—action mask—merupakan hambatan komputasi utama, meskipun himpunan aksi biasanya diasumsikan sudah diketahui. Para penulis meneliti penggabungan pencarian kebijakan optimal dengan pembelajaran mask itu sendiri dalam MDP linear di mana setiap aksi yang dicoba mengungkap nilai eksak dari skor linear yang menentukan validitasnya. Algoritme optimasi optimistik deterministik terbukti optimal minimax dan efisien secara komputasi tetapi sub-optimal pada instans non-degenerate, sementara alternatif yang merencanakan eksplorasinya, yang dapat ditafsirkan sebagai analog dari information-directed sampling untuk umpan balik deterministik, juga efisien, dengan penerapan pada transfer learning di mana himpunan aksi tidak valid berubah seiring waktu.