Отчёты по ИИ · Epoch AI · 2026-11-09 · Опрос / индекс / данные
Меняем подход к измерению производительности ИИ-чипов при инференсе
Оригинальное название: Changing how we measure AI chip inference performance
Epoch AI предлагает Inference Performance Index (IPI), утверждая, что показатели FLOP/s занижают производительность чипов при инференсе, поскольку важны также память и межчиповые коммуникации. По её оценке, Nvidia GB300 обеспечивает примерно в 25 раз больше мощности для инференса на один чип, чем H100, на моделируемых ею агентных нагрузках, несмотря на лишь 2,5-кратное преимущество по 8-битным FLOP/s. IPI версии 1 сосредоточен на агентных нагрузках, объединяет результаты по четырём репрезентативным моделям и выражает оценки в эквивалентах GB300.