Laporan AI · Anthropic · 2026-11-02 · Blog / komentar
Kemajuan dalam inferensi yang dapat dibuktikan untuk model bahasa besar
Judul asli: Progress on provable inference for large language models
Anthropic membagikan perkembangan bukti kriptografi berbasis zkSNARK untuk inferensi model yang dapat diverifikasi, terutama melalui sistem bernama FlashProve. Bukti tersebut memungkinkan penyedia model untuk berkomitmen pada suatu model dan membuktikan bahwa setiap respons berasal darinya, yang menurut artikel sulit diperiksa hanya dari keluarannya. Menurut kutipan tersebut, untuk Llama 4 Maverick (model mixture-of-experts dengan 400B parameter) dengan bobot terkuantisasi 4-bit, satu GPU H100 menghasilkan bukti sekitar 110 token per detik, dengan ukuran bukti sekitar 19 MB per permintaan 1.024 token.