ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-23
TrustedCode: оценка больших языковых моделей в разработке доверенного кода с помощью автоматической верификации программ
Оригинальное название: TrustedCode: Evaluating Large Language Models for Developing Trusted Code through Automated Program Verification
Поскольку сгенерированный ИИ код ненадёжен, формальная верификация — перспективный способ обеспечить доверие, но существующие инструменты в основном ориентированы на Java и C, а не на Python. Авторы представляют TrustedCode, который с помощью LLM проверяет типы в Python-коде, переводит его в WhyML через Why3 и проверяет соответствие формальным спецификациям с помощью автоматических средств доказательства Why3. В экспериментах на десяти программах на Python 50% наблюдавшихся ошибок были связаны с пробелами в знаниях предметной области, 30% — с синтаксисом и 20% — с семантическими и типовыми проблемами; инструмент имеет открытый исходный код.