AI レポート · Epoch AI · 2026-11-04 · ブログ・論評
ECIの手法をベイズモデルに更新
原題: Updating the ECI methodology to use a Bayesian model
Epoch AIは、ベンチマーク結果を用いてAIモデルの能力を測定・追跡するEpoch Capabilities Index（ECI）のモデリングを、ベイズモデルに更新した。主な目的は、より妥当性のある不確実性の推定を提供することと、あるモデルが別のモデルより高性能である確率を算出できるようにすることである。ECIは項目応答理論（IRT）に基づいており、ベンチマークのスコアを正答率の期待値として扱う。