AI এবং বিশ্বের কঠিন সমস্যাগুলো · তাত্ত্বিক কম্পিউটার বিজ্ঞান · arXiv · 2026-10-21

একটি মাস্কড MDP-র স্বীকারোক্তি

মূল শিরোনাম: Confessions of a Masked MDP

কিছু রিইনফোর্সমেন্ট লার্নিং অ্যাপ্লিকেশনে কোন স্টেট-অ্যাকশন জোড়াগুলো অবৈধ তা নির্ধারণ করা—অর্থাৎ অ্যাকশন মাস্ক—ই প্রধান কম্পিউটেশনাল বাধা, যদিও অ্যাকশন সেট সাধারণত জানা বলেই ধরে নেওয়া হয়। লেখকেরা একটি লিনিয়ার MDP-এর অধীনে সর্বোত্তম পলিসি খোঁজার কাজকে মাস্ক নিজেই শেখার সঙ্গে একীভূত করা নিয়ে অধ্যয়ন করেছেন, যেখানে প্রতিটি চেষ্টা করা অ্যাকশন তার বৈধতা নির্ধারণকারী একটি লিনিয়ার স্কোরের সঠিক মান প্রকাশ করে। একটি ডিটারমিনিস্টিক অপটিমিস্টিক অপ্টিমাইজেশন অ্যালগরিদম মিনিম্যাক্স-অপটিমাল ও গণনাগতভাবে দক্ষ প্রমাণিত হয়, তবে নন-ডিজেনারেট ইনস্ট্যান্সে এটি সাব-অপটিমাল; অন্যদিকে নিজের এক্সপ্লোরেশনের পরিকল্পনা করে এমন একটি বিকল্প পদ্ধতি—যাকে ডিটারমিনিস্টিক ফিডব্যাকের জন্য ইনফরমেশন-ডিরেক্টেড স্যাম্পলিং-এর অনুরূপ হিসেবে ব্যাখ্যা করা যায়—তাও দক্ষ, এবং এর প্রয়োগ রয়েছে এমন ট্রান্সফার লার্নিংয়ে যেখানে অবৈধ অ্যাকশন সেট সময়ের সঙ্গে বদলায়।

মূল লেখা পড়ুন ↗

সব আইটেম →