AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-22

منقطع وقت کے آف پالیسی ڈیٹا سے اینڈ ٹو اینڈ ضمانتوں کے ساتھ ایک ماڈل فری مسلسل وقت RL الگورتھم

اصل عنوان: A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees

مقالہ مسلسل وقت (continuous-time) کی ری انفورسمنٹ لرننگ پر غور کرتا ہے، جہاں حالت (state) ایک نامعلوم اسٹوکاسٹک ڈیفرینشل مساوات کے مطابق چلتی ہے، مگر discrete وقت کی منتقلیوں کا صرف ایک مقررہ off-policy بیچ دستیاب ہوتا ہے۔ PhiBE-Q تشکیل کی بنیاد پر، یہ ایک model-free PhiBE پالیسی تکرار (PhiBE-PI) فریم ورک تیار کرتا ہے جو نمونہ کیے گئے اضافوں سے براہِ راست ایک واحد state-action critic سیکھتا ہے، اور دورانِ کار میں ایک ہی بیچ کو دوبارہ استعمال کرتے ہوئے اور drift یا diffusion کا صریح تخمینہ لئے بغیر پالیسی کو بہتر بناتا ہے۔ لکیری فنکشن تقریب کے تحت، مصنفین ایک مقامی end-to-end suboptimality کی ضمانت قائم کرتے ہیں جو بتاتی ہے کہ discretization، تقریب اور محدود نمونوں کی غلطیاں کیسے پھیلتی ہیں، اور ایک bias-variance سمجھوتے کی نشاندہی کرتے ہیں جس کے تحت وقت کی باریک تر discretization کا پالیسی کی کارکردگی کو بہتر بنانا ضروری نہیں ہے۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →