Ripoti za AI · Amazon · 2026-10-12 · Blogu / maoni
Endesha mizigo ya kazi ya utambuzi wa nodi nyingi kwa kutumia Ray LLM Deep Learning Containers
Kichwa asilia: Run multi-node inference workloads using Ray LLM Deep Learning Containers
Chapisho hili linaonyesha jinsi ya kusambaza modeli moja kubwa ya lugha kwenye nodi mbili za GPU kwenye Amazon EKS kwa kutumia Ray LLM Deep Learning Containers za nodi nyingi. Prefill na decode huendeshwa kwenye nodi tofauti nyuma ya kiendeshi kimoja cha mwisho kinachooana na OpenAI. Kontena lililoandaliwa awali lina mfumo mzima wa uelekezaji (inference), hivyo unasanidi usambazaji badala ya kuukusanya mwenyewe.