AI رپورٹس · Amazon · 2026-10-19 · بلاگ / تبصرہ
vLLM میں دو طرفہ KV ٹرانسفر کے ذریعے ملٹی ٹرن ایجنٹک ورک لوڈز کے لیے TTFT کو بہتر بنائیں
اصل عنوان: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
ملٹی ٹرن ایجنٹک ورک لوڈز ہر ٹرن پر بڑھتے ہوئے گفتگو کے سیاق کو دوبارہ پروسیس کرتے ہیں، جس سے تاخیر بڑھتی ہے۔ یہ پوسٹ دو طرفہ KV کیش ٹرانسفر کی وضاحت کرتی ہے، جو پریفل اور ڈیکوڈ نوڈز کو مختلف ٹرنز میں پہلے سے کمپیوٹ کیے گئے سیاق کو دوبارہ استعمال کرنے دیتا ہے۔ EFA کے ساتھ Amazon EC2 P5en انسٹینسز پر یہ Qwen3-32B کے لیے ٹائم ٹو فرسٹ ٹوکن کو 1.6x تک اور GLM-5-FP8 کے لیے 3.3x تک کم کر دیتا ہے۔