ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-23
Анализ on-policy методов градиента политики при несоответствии распределений
Оригинальное название: Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
Многие современные методы градиента политики оценивают направления обновления с помощью распределения выборки, которое отличается от дисконтированного распределения состояний, требуемого теоремой о градиенте политики. В исследовании анализируется, как это несоответствие распределений влияет на такие методы, и показывается глобальная сходимость значений целевой функции при смещённых обновлениях для табличных прямой и softmax-параметризаций. Также приводится явный критерий того, ускоряет ли несоответствие асимптотическую сходимость или замедляет её, а оценки распространяются на более общие параметризации политики.