KI-Berichte · Epoch AI · 2026-11-04 · Blog / Kommentar
Aktualisierung der ECI-Methodik auf ein Bayessches Modell
Originaltitel: Updating the ECI methodology to use a Bayesian model
Epoch AI hat die Modellierung hinter dem Epoch Capabilities Index (ECI) aktualisiert, der die Fähigkeiten von KI-Modellen anhand von Benchmark-Ergebnissen misst und verfolgt. Das neue Bayessche Modell soll besser begründete Unsicherheitsschätzungen liefern und berechnen, wie wahrscheinlich es ist, dass ein Modell leistungsfähiger ist als ein anderes. Der ECI basiert auf der Item-Response-Theorie (IRT), angepasst so, dass Benchmark-Werte als erwarteter Anteil der Fragen behandelt werden, die ein Modell richtig beantwortet.