ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-21
Федеративное обучение с тяжелохвостым градиентным шумом и шумом связи: алгоритм на основе снижения дисперсии
Оригинальное название: Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
Федеративное обучение позволяет локальным устройствам совместно обучать глобальную модель, сохраняя данные децентрализованными и конфиденциальными, однако градиентный шум с тяжелыми хвостами и шум связи широко распространены в крупномасштабном машинном обучении по беспроводным сетям и в развертываниях интернета вещей (IoT). Предлагаемый алгоритм VRA-FedSGD применяет уменьшение дисперсии на основе момента с нелинейным отображением для смягчения градиентного шума с тяжелыми хвостами, а также использует механизм агрегации с уменьшенной дисперсией для подавления шума связи с тяжелыми хвостами. Авторы выводят скорости сходимости для невыпуклых и сильно выпуклых целевых функций, а имитационные эксперименты по логистической регрессии на реальных данных подтверждают его эффективность.