IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-21
Confissões de um MDP Mascarado
Título original: Confessions of a Masked MDP
Em algumas aplicações de aprendizado por reforço, determinar quais pares estado-ação são inválidos — a máscara de ações — é o principal gargalo computacional, embora o conjunto de ações geralmente seja presumido como conhecido. Os autores estudam combinar a busca por uma política ótima com o aprendizado da própria máscara sob um MDP linear no qual cada ação tentada revela o valor exato de um escore linear que determina sua validade. Um algoritmo determinístico de otimização otimista prova ser minimax ótimo e computacionalmente eficiente, mas subótimo em instâncias não degeneradas, enquanto uma alternativa que planeja sua exploração, interpretável como um análogo da amostragem direcionada pela informação para feedback determinístico, também é eficiente, com uma aplicação ao aprendizado por transferência em que o conjunto de ações inválidas muda ao longo do tempo.