Laporan AI · Amazon · 2026-10-22 · Blog / komentar
Berhenti menebak-nebak target auto scaling untuk TTS di Amazon SageMaker AI
Judul asli: Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
Tim yang melakukan deployment model text-to-speech kustom di Amazon SageMaker AI sering menebak-nebak ambang autoscaling, dan tebakan yang salah dapat memboroskan pengeluaran GPU atau melanggar SLO latensi. Postingan ini melakukan deployment Kokoro-82M sebagai kontainer kustom di endpoint real-time SageMaker AI menggunakan stack AWS CDK dan menurunkan kebijakan autoscaling terukur dari dua pengukuran endpoint live: Q_max, konkurensi tertinggi yang dapat ditopang satu instans sebelum melanggar SLO, dan T_total, berapa lama waktu yang dibutuhkan scale-out dari ujung ke ujung. Dari kedua angka tersebut, ambang scale-out, ambang scale-in, dan kedua cooldown diturunkan secara aritmetika, dengan setiap angka berasal dari deployment nyata dan proses pengukuran.