Laporan AI · Amazon · 2026-10-19 · Blog / komentar
Tingkatkan TTFT untuk beban kerja agentik multi-giliran dengan transfer KV dua arah di vLLM
Judul asli: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
Beban kerja agentik multi-giliran memproses ulang konteks percakapan yang terus bertambah pada setiap giliran, sehingga meningkatkan latensi. Artikel ini menjelaskan transfer KV cache dua arah, yang memungkinkan node prefill dan decode menggunakan kembali konteks yang telah dihitung sebelumnya di seluruh giliran. Pada instans Amazon EC2 P5en dengan EFA, metode ini memangkas waktu hingga token pertama hingga 1,6x untuk Qwen3-32B dan hingga 3,3x untuk GLM-5-FP8.