La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-21
Confesiones de un MDP enmascarado
Título original: Confessions of a Masked MDP
En algunas aplicaciones del aprendizaje por refuerzo, determinar qué pares estado-acción son inválidos —la máscara de acciones— constituye el principal cuello de botella computacional, a pesar de que el conjunto de acciones suele presuponerse conocido. Los autores estudian la combinación de la búsqueda de una política óptima con el aprendizaje de la propia máscara bajo un MDP lineal en el que cada acción intentada revela el valor exacto de una puntuación lineal que determina su validez. Un algoritmo determinista de optimización optimista resulta minimax óptimo y computacionalmente eficiente, pero subóptimo en instancias no degeneradas, mientras que una alternativa que planifica su exploración, interpretable como un análogo del muestreo dirigido por la información para retroalimentación determinista, también es eficiente, con una aplicación al aprendizaje por transferencia en la que el conjunto de acciones inválidas cambia con el tiempo.