Relatórios de IA · Amazon · 2026-10-22 · Blog / comentário
Pare de adivinhar as metas de auto scaling para TTS no Amazon SageMaker AI
Título original: Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
Equipes que implantam modelos personalizados de texto para fala no Amazon SageMaker AI frequentemente precisam adivinhar os limites de autoscaling, e um palpite errado ou desperdiça gastos com GPU ou viola um SLO de latência. A publicação implanta o Kokoro-82M como um contêiner personalizado em um endpoint em tempo real do SageMaker AI usando stacks do AWS CDK e deriva uma política de autoscaling baseada em medições a partir de duas medições feitas em um endpoint ativo: Q_max, a concorrência máxima que uma instância suporta antes de violar o SLO, e T_total, quanto tempo uma operação de scale-out leva de ponta a ponta. A partir desses dois números, ela deriva por aritmética o limite de scale-out, o limite de scale-in e os dois períodos de cooldown, com cada número vindo de uma implantação real e de uma rodada de medição.