ИИ и сложнейшие проблемы мира · Математика · arXiv · 2026-10-19
За пределами компиляции: оценка точной формализации утверждений на Lean из естественного языка
Оригинальное название: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization
Lean проверяет, что сгенерированное объявление корректно типизировано, но не то, что оно соответствует намерению пользователя, поэтому авторы измеряют, насколько успешная компиляция завышает оценку точности в автоформализации утверждений. Их критерий требует компиляции в Lean и согласия двух LLM-судей из разных семейств моделей, и в независимом случайном аудите он совпадает с мнением большинства людей в 91.5% случаев. На 227 утверждениях университетского уровня в восьми системах разрыв между скомпилированными и принятыми результатами составляет от 1.3 до 29.5 процентных пункта, при этом агент с инструментами компилирует 87.2% утверждений, но принимается только 57.7%.