L'IA face aux grands problèmes du monde · Mathématiques · arXiv · 2026-10-19
Au-delà de la compilation : évaluer la formalisation fidèle d'énoncés du langage naturel vers Lean
Titre original: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization
Lean vérifie qu'une déclaration générée est bien typée, mais pas qu'elle correspond à l'intention de l'utilisateur ; les auteurs mesurent donc dans quelle mesure la compilation surestime la fidélité dans l'autoformalisation d'énoncés. Leur critère exige la compilation sous Lean et l'accord de deux juges LLM issus de familles de modèles différentes, et il concorde avec la majorité humaine dans 91,5 % des cas lors d'un audit aléatoire indépendant. Sur 227 énoncés de niveau universitaire répartis sur huit systèmes, l'écart entre les sorties compilées et les sorties acceptées va de 1,3 à 29,5 points de pourcentage ; l'agent augmenté d'outils compile 87,2 % des énoncés, mais seulement 57,7 % sont acceptés.