AI レポート · Amazon · 2026-10-19 · ブログ・論評
vLLMの双方向KV転送によるマルチターンのエージェント型ワークロードのTTFT改善
原題: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
マルチターンのエージェント型ワークロードでは、毎ターン会話履歴全体が再処理されるため、遅延が増大する。本記事では、prefillノードとdecodeノードの間でKVキャッシュを双方向に転送し、過去のターンで計算済みの文脈を再利用する手法を紹介する。Amazon EC2 P5enとEFAでの検証では、最初のトークンまでの時間がQwen3-32Bで最大1.6倍、GLM-5-FP8で最大3.3倍短縮されたという。