Laporan AI · Epoch AI · 2026-11-04 · Blog / komentar
Memperbarui metodologi ECI untuk menggunakan model Bayesian
Judul asli: Updating the ECI methodology to use a Bayesian model
Epoch AI telah memperbarui pemodelan di balik Epoch Capabilities Index (ECI), yang mengukur dan melacak kemampuan model AI menggunakan hasil benchmark. Model Bayesian yang baru bertujuan memberikan estimasi ketidakpastian yang lebih beralasan dan menghitung seberapa besar kemungkinan satu model lebih mampu daripada model lainnya. ECI didasarkan pada Item Response Theory (IRT), yang diadaptasi untuk memperlakukan skor benchmark sebagai proporsi pertanyaan yang diharapkan dijawab benar oleh suatu model.