KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-21
Federated Learning mit Heavy-Tailed-Gradientenrauschen und Kommunikationsrauschen: ein auf Varianzreduktion basierender Algorithmus
Originaltitel: Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
Federated Learning ermöglicht lokalen Geräten, gemeinsam ein globales Modell zu trainieren, während die Daten dezentral und privat bleiben; doch beim maschinellen Lernen im großen Maßstab über drahtlose Netzwerke und IoT-Bereitstellungen sind Heavy-Tailed-Gradientenrauschen und Kommunikationsrauschen weit verbreitet. Der vorgeschlagene Algorithmus VRA-FedSGD wendet Momentum-Varianzreduktion mit einer nichtlinearen Abbildung an, um Heavy-Tailed-Gradientenrauschen abzumildern, und nutzt einen Mechanismus zur varianzreduzierten Aggregation, um Heavy-Tailed-Kommunikationsrauschen zu unterdrücken. Die Autoren leiten Konvergenzraten für nichtkonvexe und stark konvexe Zielfunktionen her, und simulierte Experimente zur logistischen Regression mit realen Daten bestätigen seine Wirksamkeit.