Informes de IA · Amazon · 2026-10-22 · Blog / comentario
Deja de adivinar los objetivos de auto scaling para TTS en Amazon SageMaker AI
Título original: Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
Los equipos que despliegan modelos personalizados de texto a voz en Amazon SageMaker AI suelen adivinar los umbrales de autoscaling, y una suposición errónea desperdicia gasto de GPU o incumple un SLO de latencia. La publicación despliega Kokoro-82M como contenedor personalizado en un endpoint en tiempo real de SageMaker AI usando stacks de AWS CDK y deriva una política de autoscaling medida a partir de dos mediciones en un endpoint en vivo: Q_max, la máxima concurrencia que una instancia soporta antes de incumplir el SLO, y T_total, cuánto tiempo lleva un scale-out de principio a fin. A partir de esos dos números se derivan aritméticamente el umbral de scale-out, el umbral de scale-in y ambos cooldowns, con cada número proveniente de un despliegue y una ejecución de medición reales.