AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-22

ডিসক্রিট-টাইম অফ-পলিসি ডেটা থেকে এন্ড-টু-এন্ড গ্যারান্টি সহ একটি মডেল-মুক্ত কন্টিনিউয়াস-টাইম RL অ্যালগরিদম

মূল শিরোনাম: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees

এই পেপারটি কন্টিনিউয়াস-টাইম রিইনফোর্সমেন্ট লার্নিং বিবেচনা করে, যেখানে state একটি অজানা স্টোকাস্টিক ডিফারেনশিয়াল সমীকরণ অনুসরণ করে, কিন্তু ডিসক্রিট-টাইম ট্রানজিশনের কেবল একটি নির্দিষ্ট অফ-পলিসি ব্যাচ পাওয়া যায়। PhiBE-Q ফর্মুলেশনের ভিত্তিতে এটি একটি মডেল-ফ্রি PhiBE পলিসি ইটারেশন (PhiBE-PI) ফ্রেমওয়ার্ক তৈরি করে, যা স্যাম্পল করা ইনক্রিমেন্ট থেকে সরাসরি একটি একক state-action critic শেখে — পুরো প্রক্রিয়াজুড়ে একই ব্যাচ পুনর্ব্যবহার করে এবং drift বা diffusion স্পষ্টভাবে আনুমানিক না করেই পলিসি উন্নত করে। লিনিয়ার ফাংশন অ্যাপ্রক্সিমেশনের অধীনে গবেষকেরা একটি লোকাল এন্ড-টু-এন্ড সাবঅপটিম্যালিটি গ্যারান্টি প্রতিষ্ঠা করেন, যা দেখায় কীভাবে ডিসক্রিটাইজেশন, অ্যাপ্রক্সিমেশন ও ফিনাইট-স্যাম্পল ত্রুটি সঞ্চারিত হয়; এবং একটি bias-variance ট্রেড-অফ চিহ্নিত করেন, যার ফলে সূক্ষ্মতর সময়-ডিসক্রিটাইজেশন সবসময় পলিসির কর্মক্ষমতা উন্নত করে না।

মূল লেখা পড়ুন ↗

সব আইটেম →