La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-20
Verificación de referencias de razonamiento escritas por humanos
Título original: Verifying Human-Written Reasoning References
Las cadenas de razonamiento escritas por humanos suelen usarse como referencia para juzgar el razonamiento de la IA, pero rara vez se comprueba el sustento lógico de sus pasos. Los autores usan un LLM para traducir las conclusiones de cada paso a lógica de primer orden y el solucionador Z3 para comprobar la implicación, aplicándolo a 386 derivaciones de P-FOLIO. De ellas, 202 (52.3%) cumplieron todos los criterios, y 191 de los 230 pasos que no estaban implicados por su sustento declarado pasaron a estarlo al comprobarse con las premisas completas.