ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-20
Проверка написанных человеком эталонов рассуждений
Оригинальное название: Verifying Human-Written Reasoning References
Цепочки рассуждений, написанные людьми, часто используются как эталон для оценки рассуждений ИИ, но логическая обоснованность их шагов проверяется редко. Авторы используют LLM для перевода выводов шагов в логику первого порядка и решатель Z3 для проверки следования, применяя это к 386 выводам из P-FOLIO. Из них 202 (52,3%) соответствовали всем критериям, а 191 из 230 шагов, не следующих из заявленных оснований, стали следовать при проверке относительно полного набора посылок.