AI 报告 · Epoch AI · 2026-11-09 · 调查 / 指数 / 数据
改变我们衡量 AI 芯片推理性能的方式
原标题: Changing how we measure AI chip inference performance
Epoch AI 提出了推理性能指数(IPI),认为 FLOP/s 会低估芯片的推理性能,因为内存和芯片间通信同样重要。据其估算,在其建模的智能体工作负载上,Nvidia GB300 每颗芯片的推理能力约为 H100 的 25 倍,而 8 位 FLOP/s 仅为后者的 2.5 倍。IPI 第 1 版聚焦于智能体工作负载,综合四个代表性模型的结果,并以 GB300 等效值表示得分。