Rapports sur l'IA · Epoch AI · 2026-11-04 · Blog / commentaire
Mise à jour de la méthodologie de l'ECI pour utiliser un modèle bayésien
Titre original: Updating the ECI methodology to use a Bayesian model
Epoch AI a mis à jour la modélisation qui sous-tend l'Epoch Capabilities Index (ECI), lequel mesure et suit les capacités des modèles d'IA à partir des résultats de benchmarks. Le nouveau modèle bayésien vise à fournir des estimations d'incertitude mieux justifiées et à calculer la probabilité qu'un modèle soit plus performant qu'un autre. L'ECI repose sur la théorie de la réponse à l'item (IRT), adaptée pour traiter les scores de benchmarks comme la part attendue de questions auxquelles un modèle répond correctement.