AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-21
ডিসক্রিট ডেটা থেকে কন্টিনিউয়াস-টাইম পলিসি গ্রেডিয়েন্ট: কনভার্জেন্স বিশ্লেষণ এবং মডেল-ফ্রি অ্যালগরিদম
মূল শিরোনাম: Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
কন্টিনিউয়াস-টাইম রিইনফোর্সমেন্ট লার্নিং ডিসক্রিট সময়ে সংগৃহীত পর্যবেক্ষণ ব্যবহার করে স্টোকাস্টিক ডিফারেনশিয়াল সমীকরণ দ্বারা শাসিত অজানা ডাইনামিক্সের অধীনে একটি সর্বোত্তম পলিসি খোঁজে। লেখকেরা কঠোর কনভার্জেন্স বিশ্লেষণসহ একটি পলিসি গ্রেডিয়েন্ট ফ্রেমওয়ার্ক তৈরি করেছেন, যার মধ্যে রয়েছে একটি পারফরম্যান্স ডিফারেন্স লেমা, র্যান্ডমাইজড ও প্যারামিট্রাইজড পলিসির জন্য পলিসি গ্রেডিয়েন্ট সূত্র, এনট্রপি-রেগুলারাইজড পলিসি ফ্লো-র সূচকীয় কনভার্জেন্স এবং একটি ডিসক্রিট-আপডেট সীমা যা ক্রিটিক ত্রুটি, পলিসি-রিগ্রেশন ত্রুটি এবং লার্নিং স্টেপ সাইজকে স্পষ্টভাবে পৃথক করে। ডিসক্রিট ট্রানজিশন ডেটা থেকে কন্টিনিউয়াস-টাইম সারোগেট জেনারেটর তৈরি করে এমন PhiBE-এর সঙ্গে এই ফ্রেমওয়ার্কের সংযোগ মডেল-ফ্রি অন-পলিসি এবং অফ-পলিসি অ্যাক্টর-ক্রিটিক অ্যালগরিদম প্রদান করে, যার কর্মক্ষমতা ও স্থিতিশীলতা একটি এনট্রপি-রেগুলারাইজড লিনিয়ার-কোয়াড্রাটিক রেগুলেটর এবং একটি ননলিনিয়ার চাকাধারী রোবটে প্রদর্শিত হয়েছে।