Relatórios de IA · Epoch AI · 2026-11-04 · Blog / comentário
Atualização da metodologia do ECI para usar um modelo bayesiano
Título original: Updating the ECI methodology to use a Bayesian model
A Epoch AI atualizou a modelagem por trás do Epoch Capabilities Index (ECI), que mede e acompanha a capacidade de modelos de IA com base em resultados de benchmarks. O novo modelo bayesiano busca fornecer estimativas de incerteza mais bem fundamentadas e calcular a probabilidade de um modelo ser mais capaz do que outro. O ECI se baseia na Teoria de Resposta ao Item (IRT), adaptada para tratar as pontuações de benchmarks como a proporção esperada de perguntas que um modelo acerta.