AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-21

ماسکڈ MDP کے اعترافات

اصل عنوان: Confessions of a Masked MDP

بعضی ری انفورسمنٹ لرننگ ایپلیکیشنز میں یہ تعین کرنا کہ کون سے state-action جوڑے ناجائز ہیں—یعنی ایکشن ماسک (action mask)—وہ بنیادی حسابی رکاوٹ ہے، حالانکہ عموماً یہ فرض کیا جاتا ہے کہ ایکشنز کا مجموعہ معلوم ہے۔ مصنفین ایک لینیئر MDP کے تحت بہترین پالیسی کی تلاش کو خود ماسک کے سیکھنے کے ساتھ یکجا کرنے کا مطالعہ کرتے ہیں، جس میں آزمائی گئی ہر ایکشن اپنی جواز کا تعین کرنے والے لینیئر سکور کی درست قیمت آشکار کر دیتی ہے۔ ایک ڈیٹرمینسٹک خوش بینانہ آپٹیمائزیشن الگورتھم minimax optimal اور حسابی طور پر مؤثر ثابت ہوتا ہے مگر غیر انحطاطی (non-degenerate) مثالوں پر بہترین سے کمتر ہوتا ہے، جبکہ ایک متبادل طریقہ، جو اپنی exploration کی منصوبہ بندی کرتا ہے اور جسے deterministic فیڈ بیک کے لیے information-directed sampling کے مماثل کے طور پر تعبیر کیا جا سکتا ہے، وہ بھی مؤثر ہے؛ اس کا ایک اطلاق ٹرانسفر لرننگ میں ہے جہاں ناجائز ایکشنز کا مجموعہ وقت کے ساتھ بدلتا رہتا ہے۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →