AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-22

एंड-टू-एंड गारंटी के साथ डिस्क्रीट-टाइम ऑफ़-पॉलिसी डेटा से मॉडल-फ्री कंटीन्यूअस-टाइम RL एल्गोरिद्म

मूल शीर्षक: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees

यह शोध-पत्र सतत-समय सुदृढ़ीकरण अधिगम पर विचार करता है, जहाँ अवस्था एक अज्ञात स्टोकैस्टिक डिफरेंशियल इक्वेशन का पालन करती है, किंतु असतत-समय संक्रमणों का केवल एक नियत ऑफ़-पॉलिसी बैच ही उपलब्ध होता है। PhiBE-Q फ़ॉर्मूलेशन पर आधारित होकर यह एक मॉडल-मुक्त PhiBE पॉलिसी इटरेशन (PhiBE-PI) ढाँचा विकसित करता है, जो सैंपल की गई वृद्धियों से सीधे एक अवस्था-क्रिया क्रिटिक सीखता है और पूरे दौरान उसी बैच का पुन: उपयोग करते हुए, बिना ड्रिफ्ट या डिफ़्यूज़न का स्पष्ट अनुमान लिए, पॉलिसी में सुधार करता है। रैखिक फ़ंक्शन सन्निकटन के अंतर्गत लेखक एक स्थानीय एंड-टू-एंड अव-इष्टतमता गारंटी स्थापित करते हैं, जो परिमापित करती है कि विविकरण, सन्निकटन और परिमित-प्रतिदर्श त्रुटियाँ किस प्रकार संचरित होती हैं, तथा एक बायस-वेरिएंस ट्रेड-ऑफ़ पहचानते हैं जिसके अनुसार सूक्ष्मतर समय-विविकरण से पॉलिसी प्रदर्शन में आवश्यक रूप से सुधार नहीं होता।

मूल लेख पढ़ें ↗

सभी आइटम →