ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-21
AURA: угловая адаптация скорости обновления для обучения комплекснозначных нейронных сетей
Оригинальное название: AURA: Angular Update Rate Adaptation for training complex-valued neural networks
Комплекснозначные нейронные сети часто обучают с помощью оптимизаторов первого порядка, унаследованных от вещественного случая, чьи правила выбора размера шага игнорируют угловую информацию, доступную на комплексной плоскости. AURA — это адаптация размера шага для каждого отдельного параметра, которую можно добавить поверх любого оптимизатора первого порядка: она измеряет согласованность между последовательными обновлениями каждого комплексного параметра по длине, выравниванию и направлению вращения, увеличивая шаг, когда обновления согласуются, и уменьшая его, когда нет, без дополнительных вычислений градиента. В сочетании с Adam и Muon и при сравнении на четырёх тестовых задачах возрастающей сложности метод улучшал сходимость базового оптимизатора в большинстве случаев при небольших накладных расходах на каждом шаге, а также были выявлены условия, при которых он оказывается неэффективен.