AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-23
Uchambuzi wa Mbinu za Policy Gradient za On-policy chini ya Kutolingana kwa Usambazaji
Kichwa asilia: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
Mbinu nyingi za kisasa za policy gradient hukadiria mielekeo ya usasishaji kwa kutumia usambazaji wa sampuli unaotofautiana na usambazaji wa hali uliopunguzwa thamani (discounted state distribution) ambao nadharia ya policy gradient inahitaji. Utafiti huu unachambua jinsi kutolingana huku kwa usambazaji kunavyoathiri mbinu hizi na unaonyesha muunganiko wa kimataifa wa thamani za lengo chini ya usasishaji wenye upendeleo kwa vigezo vya tabular direct na softmax. Pia unatoa kigezo wazi cha kubaini kama kutolingana huko kunaharakisha au kunapunguza kasi ya muunganiko wa asimptotiki, na unapanua mipaka hiyo kwa vigezo vya jumla zaidi vya sera.