AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-21
带重尾梯度噪声与通信噪声的联邦学习：一种基于方差缩减的算法
原标题: Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
联邦学习使本地设备能够在保持数据去中心化和私密性的同时共同训练一个全局模型，但在无线网络和物联网部署上的大规模机器学习中，重尾梯度噪声和通信噪声普遍存在。所提出的算法 VRA-FedSGD 采用结合非线性映射的动量方差缩减来缓解重尾梯度噪声，并使用方差缩减聚合机制来抑制重尾通信噪声。作者推导了非凸和强凸目标下的收敛速率，并在真实数据上的逻辑回归仿真实验中验证了其有效性。