Relatórios de IA · Amazon · 2026-10-19 · Blog / comentário
Transferência de KV baseada em push para melhorar TTFT e TPOT na inferência desagregada no vLLM
Título original: Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
A desagregação de prefill e decode do vLLM exige a transferência do cache KV entre instâncias do mecanismo, o que afeta o tempo até o primeiro token. Esta publicação apresenta um conector NIXL baseado em push que tira a coordenação da transferência do caminho crítico. Em benchmarks em instâncias Amazon EC2 P5en com AWS EFA, ele entrega até 3x melhor TTFT e 30% melhor TPOT.