AI 报告 · Amazon · 2026-10-19 · 博客 / 评论
借助 vLLM 中的双向 KV 传输，改善多轮智能体工作负载的 TTFT
原标题: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
多轮智能体工作负载在每一轮都要重新处理不断增长的对话上下文，从而增加延迟。本文介绍双向 KV 缓存传输，它让预填充（prefill）节点和解码（decode）节点能够在多轮之间复用此前已计算的上下文。在配备 EFA 的 Amazon EC2 P5en 实例上，该方法可将 Qwen3-32B 的首词元时间最多缩短 1.6 倍，将 GLM-5-FP8 的首词元时间最多缩短 3.3 倍。