ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-20
Снижение дисперсии при стохастическом переключении в федеративной оптимизации с функциональными ограничениями
Оригинальное название: Variance Reduction for Stochastic Switching in Functionally Constrained Federated Optimization
В федеративном обучении для приложений, критичных к безопасности и чувствительных к справедливости, целевые функции должны оптимизироваться при функциональных ограничениях, что затруднено из-за дорогостоящего проектирования на допустимое множество, стохастической информации об ограничениях, частичного участия клиентов и ограниченной связи. Авторы предлагают федеративную стохастическую схему с переключениями, основанную исключительно на прямых (primal-only) обновлениях, которая избавляет от настройки двойственных переменных и устанавливает гарантии сходимости и допустимости с высокой вероятностью при стохастических градиентах и частичном участии клиентов. Оценки ограничений с понижением дисперсии дают стремящиеся к нулю гарантии допустимости и стационарности при фиксированных доле участия клиентов в раунде и размере батча оценки ограничений, а эксперименты по классификации Неймана-Пирсона, обучению с ограничениями справедливости на наборе данных ADULT и ограниченному глубокому обучению с подкреплением демонстрируют эффективность схемы.