AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-21

हेवी-टेल्ड ग्रेडिएंट नॉइज़ और कम्युनिकेशन नॉइज़ के साथ फेडरेटेड लर्निंग: वैरिएंस-रिडक्शन आधारित एल्गोरिथम

मूल शीर्षक: Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm

फेडरेटेड लर्निंग स्थानीय डिवाइस को डेटा को विकेंद्रीकृत और निजी रखते हुए मिलकर एक ग्लोबल मॉडल प्रशिक्षित करने देती है, लेकिन हेवी-टेल्ड ग्रेडिएंट नॉइज़ और कम्युनिकेशन नॉइज़ वायरलेस नेटवर्क और IoT डिप्लॉयमेंट पर बड़े पैमाने की मशीन लर्निंग में प्रचलित हैं। प्रस्तावित एल्गोरिथम VRA-FedSGD, हेवी-टेल्ड ग्रेडिएंट नॉइज़ को कम करने के लिए नॉनलीनियर मैपिंग के साथ मोमेंटम वैरिएंस रिडक्शन लागू करता है, और हेवी-टेल्ड कम्युनिकेशन नॉइज़ को दबाने के लिए वैरिएंस-रिड्यूस्ड एग्रीगेशन तंत्र का उपयोग करता है। लेखक नॉनकॉन्वेक्स और स्ट्रॉन्गली कॉन्वेक्स ऑब्जेक्टिव के लिए कन्वर्जेंस दरें व्युत्पन्न करते हैं, और वास्तविक दुनिया के डेटा के साथ लॉजिस्टिक रिग्रेशन पर सिम्युलेटेड प्रयोग इसकी प्रभावशीलता को सत्यापित करते हैं।

मूल लेख पढ़ें ↗

सभी आइटम →