AI 報告 · Amazon · 2026-10-12 · 部落格／評論
使用 Ray LLM Deep Learning Containers 執行多節點推論工作負載
原標題: Run multi-node inference workloads using Ray LLM Deep Learning Containers
本文說明如何使用多節點 Ray LLM Deep Learning Containers，在 Amazon EKS 上跨兩個 GPU 節點部署單一大型語言模型。Prefill 與 decode 分別在不同節點上執行，並共用一個與 OpenAI 相容的端點。預先建置的容器已包含完整的推論堆疊，因此您只需設定部署，無須自行組裝。