এআই রিপোর্ট · Amazon · 2026-10-19 · ব্লগ / মন্তব্য

vLLM-এ ডিসঅ্যাগ্রিগেটেড ইনফারেন্সের জন্য TTFT ও TPOT উন্নত করতে পুশ-ভিত্তিক KV ট্রান্সফার

মূল শিরোনাম: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM

vLLM-এর প্রিফিল-ডিকোড ডিসঅ্যাগ্রিগেশনে ইঞ্জিন ইনস্ট্যান্সগুলোর মধ্যে KV ক্যাশ স্থানান্তর করতে হয়, যা টাইম টু ফার্স্ট টোকেনকে প্রভাবিত করে। এই পোস্টে একটি পুশ-ভিত্তিক NIXL কানেক্টর পরিচিত করা হয়েছে, যা ট্রান্সফার সমন্বয়কে ক্রিটিক্যাল পাথ থেকে সরিয়ে দেয়। EFA সহ Amazon EC2 P5en ইনস্ট্যান্সের বেঞ্চমার্কে এটি সর্বোচ্চ 3x ভালো TTFT এবং 30% ভালো TPOT দেয়।

মূল লেখা পড়ুন ↗

সব এআই রিপোর্ট →