La IA y los problemas difíciles del mundo · Matemáticas · arXiv · 2026-10-19
Más allá de la compilación: evaluación de la formalización fiel de enunciados del lenguaje natural a Lean
Título original: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization
Lean comprueba que una declaración generada está bien tipada, pero no que coincida con la intención del usuario, por lo que los autores miden hasta qué punto la compilación sobrestima la fidelidad en la autoformalización de enunciados. Su criterio exige la compilación en Lean y el acuerdo de dos jueces LLM de familias de modelos distintas, y coincide con la mayoría humana en el 91.5% de los casos en una auditoría aleatoria independiente. En 227 enunciados de nivel universitario con ocho sistemas, la diferencia entre las salidas compiladas y las aceptadas va de 1.3 a 29.5 puntos porcentuales; el agente con herramientas compila el 87.2% de los enunciados, pero solo se acepta el 57.7%.