AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-21
Ujifunzaji wa shirikishi wenye kelele za gradianti zenye mkia mzito na kelele za mawasiliano: algoriti inayotokana na upunguzaji wa tofauti
Kichwa asilia: Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
Ujifunzaji wa shirikishi huruhusu vifaa vya ndani kufundisha kwa pamoja mfano wa jumla huku data ikibaki isiyowekwa katikati na ya faragha, lakini kelele za gradianti zenye mkia mzito na kelele za mawasiliano hujitokeza sana katika ujifunzaji wa mashine wa kiwango kikubwa kupitia mitandao isiyo na waya na utekelezaji wa IoT. Algoriti inayopendekezwa, VRA-FedSGD, inatumia upunguzaji wa tofauti wa momentum pamoja na uwekaji-ramani usio wa mstari ili kupunguza kelele za gradianti zenye mkia mzito, na inatumia utaratibu wa kukusanya wenye tofauti iliyopunguzwa ili kukandamiza kelele za mawasiliano zenye mkia mzito. Waandishi hutoa viwango vya ukaribiano kwa malengo yasiyo ya convex na yenye convex kali, na majaribio ya uigaji juu ya regresheni ya lojistiki kwa kutumia data za ulimwengu halisi yanathibitisha ufanisi wake.