AI रिपोर्ट्स · Amazon · 2026-10-22 · ब्लॉग / टिप्पणी
Amazon SageMaker AI पर TTS के लिए ऑटो स्केलिंग टारगेट की अंदाज़बाज़ी बंद करें
मूल शीर्षक: Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
Amazon SageMaker AI पर कस्टम टेक्स्ट-टू-स्पीच मॉडल डिप्लॉय करने वाली टीमें अक्सर ऑटोस्केलिंग थ्रेशोल्ड का अंदाज़ा लगाती हैं, और गलत अंदाज़ा या तो GPU खर्च बर्बाद करता है या लेटेंसी SLO का उल्लंघन करता है। पोस्ट AWS CDK स्टैक का उपयोग करके Kokoro-82M को SageMaker AI रियल-टाइम एंडपॉइंट पर कस्टम कंटेनर के रूप में डिप्लॉय करती है और दो लाइव-एंडपॉइंट मापनों से एक मापा हुआ ऑटोस्केलिंग पॉलिसी प्राप्त करती है: Q_max, जो SLO के उल्लंघन से पहले एक इंस्टेंस बनाए रख सकने वाली सर्वोच्च कंकरेंसी है, और T_total, जो बताता है कि स्केल-आउट को शुरू से अंत तक कितना समय लगता है। इन्हीं दो संख्याओं से यह स्केल-आउट थ्रेशोल्ड, स्केल-इन थ्रेशोल्ड और दोनों कूलडाउन गणित द्वारा प्राप्त करती है, जहाँ हर संख्या एक वास्तविक डिप्लॉयमेंट और मापन रन से आती है।