AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-21
एक मास्क्ड MDP का कबूलनामा
मूल शीर्षक: Confessions of a Masked MDP
कुछ रीइन्फोर्समेंट लर्निंग अनुप्रयोगों में, यह निर्धारित करना कि कौन-से स्टेट-एक्शन जोड़े अमान्य हैं—यही एक्शन मास्क है—मुख्य कम्प्यूटेशनल बाधा है, भले ही एक्शन-सेट आमतौर पर ज्ञात मान लिया जाता है। लेखक एक लीनियर MDP के अंतर्गत इष्टतम नीति की खोज को मास्क के स्वयं को सीखने के साथ संयोजित करने का अध्ययन करते हैं, जिसमें प्रयास की गई प्रत्येक एक्शन उसकी वैधता निर्धारित करने वाले लीनियर स्कोर का सटीक मान प्रकट करती है। एक नियतात्मक ऑप्टिमिस्टिक अनुकूलन एल्गोरिद्म मिनिमैक्स-इष्टतम और कम्प्यूटेशनल रूप से कुशल सिद्ध होता है, परंतु गैर-डिजेनरेट उदाहरणों पर उप-इष्टतम रहता है, जबकि एक वैकल्पिक विधि—जो अपने एक्सप्लोरेशन की योजना बनाती है और जिसे नियतात्मक फीडबैक के लिए इनफॉर्मेशन-डायरेक्टेड सैंपलिंग का समरूप माना जा सकता है—वह भी कुशल है; इसका एक अनुप्रयोग ट्रांसफर लर्निंग में है, जहाँ अमान्य एक्शन-सेट समय के साथ बदलता रहता है।