KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-20
Von Menschen verfasste Referenzen für Schlussfolgerungen überprüfen
Originaltitel: Verifying Human-Written Reasoning References
Von Menschen verfasste Argumentationsketten dienen oft als Referenz für die Beurteilung von KI-Argumentation, doch die logische Stützung ihrer Schritte wird selten überprüft. Die Autoren nutzen ein LLM, um Schlussfolgerungen einzelner Schritte in Prädikatenlogik erster Stufe zu übersetzen, und den Z3-Solver, um die Folgerung zu prüfen; angewandt wird dies auf 386 Herleitungen aus P-FOLIO. Davon erfüllten 202 (52,3 %) alle Kriterien, und 191 der 230 Schritte, die aus ihrer angegebenen Stützung nicht folgten, folgten bei Prüfung gegen die vollständigen Prämissen.