AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-21

ہیوی ٹیلڈ گریڈیئن شور اور کمیونیکیشن شور کے ساتھ فیڈریٹڈ لرننگ: ویرینس ریڈکشن پر مبنی الگورتھم

اصل عنوان: Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm

فیڈریٹڈ لرننگ مقامی آلات کو ایک عالمی ماڈل کی مشترکہ تربیت کی اجازت دیتی ہے جبکہ ڈیٹا غیر مرکزی اور نجی رہتا ہے، لیکن وائرلیس نیٹ ورکس اور IoT تعیناتیوں پر بڑے پیمانے کی مشین لرننگ میں ہیوی ٹیلڈ گریڈیئن شور اور کمیونیکیشن شور عام ہیں۔ تجویز کردہ الگورتھم VRA-FedSGD ہیوی ٹیلڈ گریڈیئن شور کو کم کرنے کے لیے نان لینیئر میپنگ کے ساتھ مومینٹم ویرینس ریڈکشن استعمال کرتا ہے، اور ہیوی ٹیلڈ کمیونیکیشن شور کو دبانے کے لیے ویرینس میں کمی پر مبنی ایگریگیشن میکانزم اختیار کرتا ہے۔ مصنفین نان کنویکس اور شدید کنویکس مقاصد کے لیے کنورجنس ریٹس اخذ کرتے ہیں، اور حقیقی دنیا کے ڈیٹا کے ساتھ لاجسٹک ریگریشن پر سمولیشن تجربات اس کی تاثیر کی تصدیق کرتے ہیں۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →