AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-21
Pembelajaran terfederasi dengan derau gradien berekor tebal dan derau komunikasi: algoritma berbasis reduksi varians
Judul asli: Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
Pembelajaran terfederasi memungkinkan perangkat lokal melatih model global secara bersama-sama sambil menjaga data tetap terdesentralisasi dan privat, tetapi derau gradien berekor tebal dan derau komunikasi lazim terjadi dalam pembelajaran mesin skala besar melalui jaringan nirkabel dan penerapan IoT. Algoritma yang diusulkan, VRA-FedSGD, menerapkan reduksi varians momentum dengan pemetaan nonlinear untuk mengurangi derau gradien berekor tebal, dan menggunakan mekanisme agregasi reduksi varians untuk menekan derau komunikasi berekor tebal. Para penulis menurunkan laju konvergensi untuk fungsi objektif nonkonveks dan sangat konveks, dan eksperimen simulasi pada regresi logistik dengan data dunia nyata memverifikasi efektivitasnya.