L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-21
Confessions d'un MDP masqué
Titre original: Confessions of a Masked MDP
Dans certaines applications de l'apprentissage par renforcement, déterminer quels couples état-action sont invalides — le masque d'actions — constitue le principal goulot d'étranglement de calcul, alors même que l'ensemble d'actions est généralement présumé connu. Les auteurs étudient la combinaison de la recherche d'une politique optimale avec l'apprentissage du masque lui-même dans le cadre d'un MDP linéaire où chaque action tentée révèle la valeur exacte d'un score linéaire déterminant sa validité. Un algorithme d'optimisation optimiste déterministe s'avère optimal au sens minimax et efficace sur le plan computationnel, mais sous-optimal sur les instances non dégénérées, tandis qu'une alternative qui planifie son exploration, interprétable comme un analogue de l'échantillonnage dirigé par l'information pour une rétroaction déterministe, est elle aussi efficace, avec une application à l'apprentissage par transfert où l'ensemble des actions invalides évolue au fil du temps.