Отчёты по ИИ · Epoch AI · 2026-11-04 · Блог / комментарии
Обновление методологии ECI: переход на байесовскую модель
Оригинальное название: Updating the ECI methodology to use a Bayesian model
Epoch AI обновила модель, лежащую в основе Epoch Capabilities Index (ECI), который измеряет и отслеживает возможности ИИ-моделей по результатам бенчмарков. Новая байесовская модель призвана давать более обоснованные оценки неопределённости и рассчитывать, с какой вероятностью одна модель более способна, чем другая. ECI основан на теории реакции на задания (IRT), адаптированной так, чтобы рассматривать результаты бенчмарков как ожидаемую долю вопросов, на которые модель отвечает правильно.