La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-21
La no estacionariedad rompe los sustitutos por permutación en el aprendizaje por refuerzo multiagente: diagnóstico y remedios
Título original: Non-Stationarity Breaks Permutation Surrogates in Multi-Agent Reinforcement Learning: Diagnosis and Remedies
En dos juegos de aprendizaje por refuerzo multiagente, un dilema social y una carrera de coordinación en los que la influencia dirigida entre los pares de agentes seleccionados es cero por construcción, los autores evalúan una salvaguarda de notificación para medidas de teoría de la información frente a la verdad de referencia a lo largo de 100 semillas. Omitir la exclusión del transitorio no estacionario del entrenamiento produce tasas de falsos positivos de 100.00% y 99.95%, y excluir solo el transitorio deja aún un 11.8% en el juego de coordinación. En cambio, recomiendan permutar la fuente dentro de bloques de tiempo de entrenamiento, lo que alcanza 5.25% y 5.50% y es el único de los nulos probados que se sitúa en o por debajo del tamaño de la prueba en ambos juegos, y se liberan el código y los datos.