AI रिपोर्ट्स · Amazon · 2026-10-19 · ब्लॉग / टिप्पणी
vLLM में द्वि-दिशात्मक KV ट्रांसफ़र के साथ मल्टी-टर्न एजेंटिक वर्कलोड के लिए TTFT में सुधार
मूल शीर्षक: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
मल्टी-टर्न एजेंटिक वर्कलोड हर टर्न पर बढ़ते हुए बातचीत के संदर्भ को दोबारा प्रोसेस करते हैं, जिससे लेटेंसी बढ़ती है। यह पोस्ट द्वि-दिशात्मक KV कैश ट्रांसफ़र का वर्णन करती है, जो प्रीफ़िल और डिकोड नोड्स को टर्न-दर-टर्न पहले से गणना किए गए संदर्भ का पुन: उपयोग करने देता है। EFA वाले Amazon EC2 P5en इंस्टेंस पर, यह Qwen3-32B के लिए पहले टोकन तक के समय को 1.6x तक और GLM-5-FP8 के लिए 3.3x तक घटा देता है।