L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-21
Apprentissage fédéré avec bruit de gradient à queues lourdes et bruit de communication : un algorithme fondé sur la réduction de variance
Titre original: Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
L'apprentissage fédéré permet aux appareils locaux d'entraîner conjointement un modèle global tout en gardant les données décentralisées et privées, mais le bruit de gradient à queues lourdes et le bruit de communication sont répandus dans l'apprentissage automatique à grande échelle sur les réseaux sans fil et les déploiements IoT. L'algorithme proposé, VRA-FedSGD, applique une réduction de variance par momentum avec une application non linéaire pour atténuer le bruit de gradient à queues lourdes, et utilise un mécanisme d'agrégation à variance réduite pour supprimer le bruit de communication à queues lourdes. Les auteurs dérivent des vitesses de convergence pour des objectifs non convexes et fortement convexes, et des expériences simulées sur la régression logistique avec des données réelles en vérifient l'efficacité.