AI レポート · Amazon · 2026-10-19 · ブログ・論評
vLLMにおけるプッシュ型KV転送によるTTFTとTPOTの改善
原題: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
vLLMのprefill-decode分離では、エンジンインスタンス間でKVキャッシュを転送する必要があり、これが最初のトークンまでの時間（TTFT）に影響する。本記事では、転送の調整をクリティカルパスから外すプッシュ型のNIXLコネクタを紹介する。Amazon EC2 P5enとAWS EFAを用いたベンチマークでは、TTFTが最大3倍、TPOTが30%改善したという。