AI与世界难题 · 数学 · arXiv · 2026-10-19
超越编译:评估自然语言到 Lean 语句形式化的忠实性
原标题: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization
Lean 只能检查生成的声明在类型上是否良构，却无法检查它是否符合用户的意图，因此作者衡量了在语句自动形式化中，编译通过在多大程度上高估了忠实度。他们的判定标准要求通过 Lean 编译，并且来自不同模型家族的两个 LLM 评审一致认可；在一次独立的随机抽样审核中，该标准与人类多数意见的一致率为 91.5%。在八个系统上对 227 条大学水平语句的测试中，编译通过的输出与被接受的输出之间的差距在 1.3 到 29.5 个百分点之间，其中工具增强型智能体编译通过了 87.2% 的语句，但只有 57.7% 被接受。