Relatórios de IA · Amazon · 2026-10-12 · Blog / comentário
Execute cargas de trabalho de inferência com vários nós usando os Ray LLM Deep Learning Containers
Título original: Run multi-node inference workloads using Ray LLM Deep Learning Containers
Esta publicação mostra como implantar um grande modelo de linguagem em dois nós de GPU no Amazon EKS usando os Deep Learning Containers multinó do Ray LLM. O prefill e o decode são executados em nós separados, atrás de um único endpoint compatível com a OpenAI. O contêiner pré-compilado inclui toda a pilha de inferência, então você configura a implantação em vez de montá-la.