AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-23

ডিস্ট্রিবিউশন মিসম্যাচের অধীনে অন-পলিসি পলিসি গ্রেডিয়েন্ট পদ্ধতির বিশ্লেষণ

মূল শিরোনাম: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch

অনেক অত্যাধুনিক পলিসি গ্রেডিয়েন্ট পদ্ধতি আপডেটের দিক অনুমান করতে এমন একটি স্যাম্পলিং ডিস্ট্রিবিউশন ব্যবহার করে, যা পলিসি গ্রেডিয়েন্ট উপপাদ্যের প্রয়োজনীয় ডিসকাউন্টেড স্টেট ডিস্ট্রিবিউশন থেকে আলাদা। গবেষণাটি বিশ্লেষণ করে এই ডিস্ট্রিবিউশন মিসম্যাচ এসব পদ্ধতিকে কীভাবে প্রভাবিত করে, এবং ট্যাবুলার ডাইরেক্ট ও সফটম্যাক্স প্যারামিটারাইজেশনের ক্ষেত্রে পক্ষপাতদুষ্ট আপডেটের অধীনে উদ্দেশ্য-মানের গ্লোবাল কনভার্জেন্স দেখায়। এটি মিসম্যাচ অ্যাসিম্পটোটিক কনভার্জেন্স দ্রুত করে নাকি ধীর করে, তার একটি সুস্পষ্ট মানদণ্ডও দেয় এবং সীমাগুলোকে আরও সাধারণ পলিসি প্যারামিটারাইজেশনে প্রসারিত করে।

মূল লেখা পড়ুন ↗

সব আইটেম →