Laporan AI · NVIDIA · 2026-11-05 · Blog / komentar
Performa Lebih dari Setiap Byte: Bagaimana Codesign Full-Stack Mengatasi Tantangan Memori AI
Judul asli: More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge
NVIDIA merancang bersama GPU, CPU, jaringan, penyimpanan, dan perangkat lunak untuk mengekstrak lebih banyak kerja berguna dari memori di setiap lapisan pabrik AI, alih-alih sekadar menambah memori pada GPU. Model yang lebih besar, konteks yang lebih panjang, dan aplikasi agentik meningkatkan tekanan pada memori GPU seiring pasokan yang menipis dan harga yang naik. Dari Blackwell Ultra ke Vera Rubin, kapasitas HBM per GPU naik sekitar 3%, sementara throughput agentik per dolar naik hingga 30x pada SemiAnalysis AgentX.