AIが解く世界の難問 · 数学 · arXiv · 2026-10-19
「コンパイルを超えて」：自然言語からLeanへの命題形式化の忠実性の評価
原題: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization
Leanは生成された宣言が型として正しいことしか確認できず、ユーザーの意図どおりかは検証できない。本研究は、Leanでのコンパイルと、異なるモデル系列の2つのLLM審判の一致を組み合わせた基準で、形式化の忠実性を測る。227件の大学レベルの命題で8つのシステムを比較したところ、コンパイル成功と受理の差は1.3〜29.5ポイントに及んだ。ツール付きエージェントは87.2%をコンパイルしたが、受理されたのは57.7%だった。