KI und die schwierigen Probleme der Welt · Mathematik · arXiv · 2026-10-19
Jenseits der Kompilierung: Bewertung treuer Formalisierung natürlichsprachlicher Aussagen in Lean
Originaltitel: Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization
Lean prüft, dass eine generierte Deklaration wohlgetypt ist, aber nicht, dass sie der Absicht des Nutzers entspricht. Daher messen die Autoren, wie stark die Kompilierung die Treue bei der Autoformalisierung von Aussagen überschätzt. Ihr Kriterium verlangt eine erfolgreiche Lean-Kompilierung sowie die Übereinstimmung zweier LLM-Bewerter aus verschiedenen Modellfamilien; in einem unabhängigen Zufalls-Audit stimmt es in 91,5 % der Fälle mit der menschlichen Mehrheit überein. Bei 227 Aussagen auf Universitätsniveau über acht Systeme hinweg liegt die Lücke zwischen kompilierten und akzeptierten Ausgaben zwischen 1,3 und 29,5 Prozentpunkten; der werkzeugunterstützte Agent kompiliert 87,2 % der Aussagen, aber nur 57,7 % werden akzeptiert.