KI-Berichte · Epoch AI · 2026-11-09 · Umfrage / Index / Daten
Wie wir die Inferenzleistung von KI-Chips neu messen
Originaltitel: Changing how we measure AI chip inference performance
Epoch AI schlägt den Inference Performance Index (IPI) vor und argumentiert, dass FLOP/s-Messungen die Inferenzleistung von Chips unterschätzen, weil auch Speicher und die Kommunikation zwischen Chips eine Rolle spielen. Das Institut schätzt, dass Nvidia GB300 pro Chip bei den von ihm modellierten agentischen Workloads etwa die 25-fache Inferenzkapazität der H100 bietet, obwohl die 8-Bit-FLOP/s nur das 2,5-Fache betragen. IPI Version 1 konzentriert sich auf agentische Workloads, fasst die Ergebnisse von vier repräsentativen Modellen zusammen und gibt die Werte in GB300-Äquivalenten an.