AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-23
TrustedCode: Mengevaluasi Model Bahasa Besar dalam Mengembangkan Kode Tepercaya melalui Verifikasi Program Otomatis
Judul asli: TrustedCode: Evaluating Large Language Models for Developing Trusted Code through Automated Program Verification
Karena kode yang dihasilkan AI tidak andal, verifikasi formal merupakan cara yang menjanjikan untuk membangun kepercayaan, tetapi perangkat yang ada sebagian besar menargetkan Java dan C, bukan Python. Para penulis memperkenalkan TrustedCode, yang menggunakan LLM untuk memeriksa tipe Python, menerjemahkannya ke WhyML melalui Why3, dan memverifikasinya terhadap spesifikasi formal dengan prover otomatis Why3. Dalam eksperimen pada sepuluh program Python, 50% kesalahan yang teramati berasal dari kesenjangan pengetahuan domain, 30% dari sintaks, dan 20% dari masalah semantik dan tipe, dan perangkat ini bersifat sumber terbuka.