AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-23
Analisis Metode Policy Gradient On-policy di Bawah Ketidaksesuaian Distribusi
Judul asli: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
Banyak metode policy gradient mutakhir memperkirakan arah pembaruan menggunakan distribusi sampling yang berbeda dari distribusi status terdiskonto yang dibutuhkan oleh teorema policy gradient. Studi ini menganalisis bagaimana ketidaksesuaian distribusi ini memengaruhi metode-metode tersebut dan menunjukkan konvergensi global nilai objektif di bawah pembaruan yang bias untuk parameterisasi tabular langsung dan softmax. Studi ini juga memberikan kriteria eksplisit untuk menentukan apakah ketidaksesuaian tersebut mempercepat atau memperlambat konvergensi asimtotik, dan memperluas batasnya ke parameterisasi kebijakan yang lebih umum.