এআই রিপোর্ট · Amazon · 2026-10-13 · ব্লগ / মন্তব্য

Amazon SageMaker AI-তে Mixture-of-Experts কার্নেল ইঞ্জিনিয়ারিং

মূল শিরোনাম: Mixture-of-Experts kernel engineering on Amazon SageMaker AI

AWS-এর প্রকৌশলীরা Amazon SageMaker AI-তে ফিউজড Mixture-of-Experts মডেলের জন্য কার্নেল অপ্টিমাইজেশনের বর্ণনা দিয়েছেন। এর মধ্যে রয়েছে WGMMA-এর আরও ভালো ব্যবহারের জন্য Swap-AB, FP8 কোয়ান্টাইজেশনের জন্য Triton ব্যাকএন্ড রাউটিং এবং Triton JIT পুনঃকম্পাইলেশন বাদ দেওয়া। একসঙ্গে এগুলো H200 GPU-তে সর্বোচ্চ 10% বেশি থ্রুপুট এবং প্রথম টোকেন পেতে সর্বোচ্চ 9% কম সময় দেয়।

মূল লেখা পড়ুন ↗

সব এআই রিপোর্ট →