La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-21
Aprendizaje federado con ruido de gradiente de cola pesada y ruido de comunicación: un algoritmo basado en la reducción de varianza
Título original: Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
El aprendizaje federado permite que los dispositivos locales entrenen conjuntamente un modelo global manteniendo los datos descentralizados y privados, pero el ruido de gradiente de cola pesada y el ruido de comunicación son frecuentes en el aprendizaje automático a gran escala sobre redes inalámbricas y despliegues de IoT. El algoritmo propuesto, VRA-FedSGD, aplica reducción de varianza con momentum mediante un mapeo no lineal para mitigar el ruido de gradiente de cola pesada, y utiliza un mecanismo de agregación con varianza reducida para suprimir el ruido de comunicación de cola pesada. Los autores derivan tasas de convergencia para objetivos no convexos y fuertemente convexos, y experimentos simulados sobre regresión logística con datos del mundo real verifican su eficacia.