AI 報告 · Epoch AI · 2026-11-09 · 調查／指數／數據
改變我們衡量 AI 晶片推論效能的方式
原標題: Changing how we measure AI chip inference performance
Epoch AI 提出推論效能指數(Inference Performance Index,IPI),主張 FLOP/s 指標低估了晶片的推論效能,因為記憶體與晶片間通訊同樣重要。其估計在所建模的代理式工作負載上,Nvidia GB300 每顆晶片的推論能力約為 H100 的 25 倍,儘管其 8 位元 FLOP/s 僅為 2.5 倍。IPI 第 1 版聚焦於代理式工作負載,綜合四個代表性模型的結果,並以 GB300 等效值表示分數。