Ripoti za AI · Amazon · 2026-10-22 · Blogu / maoni
Acha kukisia malengo ya auto scaling kwa TTS kwenye Amazon SageMaker AI
Kichwa asilia: Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
Timu zinazotuma mifano ya text-to-speech ya kipekee kwenye Amazon SageMaker AI mara nyingi hukisia vizingizi vya autoscaling, na kisia batili huweza kupoteza matumizi ya GPU au kuvunja SLO ya uchelewashaji. Machapisho yanatuma Kokoro-82M kama kontena maalum kwenye endpoint ya SageMaker AI ya wakati halisi kwa kutumia AWS CDK stacks, na kupata sera ya autoscaling iliyopimwa kutoka kwa vipimo viwili vya endpoint inayofanya kazi: Q_max, wingi wa juu zaidi wa kufanya kazi kwa wakati mmoja ambao mfano mmoja unavumilia kabla ya kuvunja SLO, na T_total, muda unaochukua scale-out kutoka mwanzo hadi mwisho. Kutoka namba hizo mbili, inapata kizingizi cha scale-out, kizingizi cha scale-in, na cooldown zote mbili kwa hesabu, huku kila namba ikitokea katika utumaji halisi na mzunguko wa upimaji.