AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-21

डिस्क्रीट डेटा से सतत-समय पॉलिसी ग्रेडिएंट: अभिसरण विश्लेषण और मॉडल-मुक्त एल्गोरिदम

मूल शीर्षक: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms

सतत-समय रीइंफोर्समेंट लर्निंग, स्टोकास्टिक डिफरेंशियल समीकरणों द्वारा शासित अज्ञात डायनामिक्स के अंतर्गत डिस्क्रीट समयों पर एकत्र किए गए अवलोकनों का उपयोग करके एक इष्टतम पॉलिसी खोजता है। लेखक कठोर अभिसरण विश्लेषण के साथ एक पॉलिसी ग्रेडिएंट फ्रेमवर्क विकसित करते हैं, जिसमें परफॉर्मेंस डिफरेंस लेम्मा, रैंडमाइज़्ड और पैरामीट्राइज़्ड पॉलिसीयों के लिए पॉलिसी ग्रेडिएंट सूत्र, एन्ट्रॉपी-रेगुलराइज़्ड पॉलिसी फ्लो का चरघातांकी अभिसरण, तथा एक डिस्क्रीट-अपडेट बाउंड शामिल है जो क्रिटिक त्रुटि, पॉलिसी-रिग्रेशन त्रुटि और लर्निंग स्टेप साइज़ को स्पष्ट रूप से अलग करता है। इस फ्रेमवर्क को PhiBE के साथ एकीकृत करना — जो डिस्क्रीट ट्रांज़िशन डेटा से एक सतत-समय सरोगेट जेनरेटर बनाता है — मॉडल-मुक्त ऑन-पॉलिसी और ऑफ-पॉलिसी एक्टर-क्रिटिक एल्गोरिदम देता है, जिनका प्रदर्शन और स्थिरता एक एन्ट्रॉपी-रेगुलराइज़्ड लीनियर-क्वाड्रैटिक रेगुलेटर और एक गैर-रैखिक व्हील्ड रोबोट पर प्रदर्शित किया गया है।

मूल लेख पढ़ें ↗

सभी आइटम →