AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-21
具有重尾梯度雜訊與通訊雜訊的聯邦學習：一種以變異數縮減為基礎的演算法
原標題: Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
聯邦學習讓本地裝置能在資料保持分散且私有的情況下共同訓練一個全域模型，但在透過無線網路與物聯網（IoT）部署進行的大規模機器學習中，重尾梯度雜訊與通訊雜訊十分普遍。所提出的演算法 VRA-FedSGD 運用結合非線性映射的動量變異數縮減來減輕重尾梯度雜訊，並採用變異數縮減式聚合機制來抑制重尾通訊雜訊。作者針對非凸與強凸目標函數推導出收斂速率，並以真實世界資料進行邏輯迴歸的模擬實驗，驗證了其有效性。