Relatórios de IA · Amazon · 2026-10-19 · Blog / comentário
Melhore o TTFT para cargas de trabalho agênticas de vários turnos com transferência bidirecional de KV no vLLM
Título original: Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
Cargas de trabalho agênticas de vários turnos reprocessam um contexto de conversa cada vez maior a cada turno, o que aumenta a latência. Esta publicação descreve a transferência bidirecional de cache KV, que permite que os nós de prefill e decode reutilizem o contexto calculado anteriormente entre os turnos. Em instâncias Amazon EC2 P5en com EFA, ela reduz o tempo até o primeiro token em até 1,6x para o Qwen3-32B e em até 3,3x para o GLM-5-FP8.