এআই রিপোর্ট · Epoch AI · 2026-11-09 · জরিপ / সূচক / উপাত্ত

AI চিপের ইনফারেন্স পারফরম্যান্স পরিমাপের পদ্ধতি বদলানো

মূল শিরোনাম: Changing how we measure AI chip inference performance

Epoch AI ইনফারেন্স পারফরম্যান্স ইনডেক্স (IPI) প্রস্তাব করেছে এবং যুক্তি দিয়েছে যে FLOP/s পরিমাপ চিপের ইনফারেন্স পারফরম্যান্সকে কম করে দেখায়, কারণ মেমরি ও চিপের মধ্যকার যোগাযোগও গুরুত্বপূর্ণ। তাদের অনুমান, তারা যে এজেন্টিক ওয়ার্কলোড মডেল করেছে তাতে Nvidia GB300 প্রতি চিপে H100-এর প্রায় 25 গুণ ইনফারেন্স সক্ষমতা দেয়, যদিও 8-বিট FLOP/s মাত্র 2.5 গুণ। IPI Version 1 এজেন্টিক ওয়ার্কলোডের ওপর মনোযোগ দেয়, চারটি প্রতিনিধিত্বমূলক মডেলের ফলাফল একত্রিত করে এবং স্কোরকে GB300 সমতুল্যে প্রকাশ করে।

মূল লেখা পড়ুন ↗

সব এআই রিপোর্ট →