AI رپورٹس · Amazon · 2026-10-19 · بلاگ / تبصرہ
vLLM میں ڈس ایگریگیٹڈ انفرنس کے لیے TTFT اور TPOT کو بہتر بنانے کے لیے پش بیسڈ KV ٹرانسفر
اصل عنوان: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
vLLM کی پریفل-ڈیکوڈ ڈس ایگریگیشن کے لیے انجن انسٹینسز کے درمیان KV کیش منتقل کرنا ضروری ہے، جو ٹائم ٹو فرسٹ ٹوکن پر اثر انداز ہوتا ہے۔ یہ پوسٹ ایک پش بیسڈ NIXL کنیکٹر متعارف کراتی ہے جو ٹرانسفر کوآرڈینیشن کو کریٹیکل پاتھ سے ہٹا دیتا ہے۔ AWS EFA کے ساتھ Amazon EC2 P5en انسٹینسز پر بینچ مارکس میں یہ TTFT میں 3x تک اور TPOT میں 30% تک بہتری دیتا ہے۔