AI 與世界的難題 · 數學 · arXiv · 2026-10-19
超越編譯:評估忠實的自然語言到Lean陳述形式化
原標題: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization
Lean 只能檢查所生成的宣告在型別上是否正確，無法確認其是否符合使用者的意圖，因此作者們衡量了在陳述式自動形式化中，編譯通過會在多大程度上高估忠實度。他們的判準要求通過 Lean 編譯，且來自不同模型家族的兩位 LLM 評審意見一致；在一項獨立的隨機稽核中，該判準與人類多數意見在 91.5% 的案例中一致。在八個系統上針對 227 條大學程度的陳述式進行測試，編譯通過與被接受的輸出之間的差距介於 1.3 至 29.5 個百分點，其中工具增強型代理能編譯 87.2% 的陳述式，但僅有 57.7% 被接受。