Laporan AI · Epoch AI · 2026-11-09 · Survei / indeks / data
Mengubah cara kita mengukur kinerja inferensi chip AI
Judul asli: Changing how we measure AI chip inference performance
Epoch AI mengusulkan Inference Performance Index (IPI), dengan argumen bahwa pengukuran FLOP/s meremehkan kinerja inferensi chip karena memori dan komunikasi antarchip juga berpengaruh. Epoch AI memperkirakan bahwa Nvidia GB300 menyediakan kapasitas inferensi sekitar 25 kali lipat dibandingkan H100 per chip pada beban kerja agentik yang dimodelkannya, meskipun FLOP/s 8-bit-nya hanya 2,5 kali lipat. IPI Versi 1 berfokus pada beban kerja agentik, menggabungkan hasil dari empat model representatif, dan menyatakan skor dalam ekuivalen GB300.