AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-21
AURA：用於訓練複數值神經網路的角度更新率調適
原標題: AURA: Angular Update Rate Adaptation for training complex-valued neural networks
複數值神經網路通常以沿用自實數值情況的一階最佳化器來訓練，其步長規則忽略了複數平面上可取得的角度資訊。AURA 是一種逐參數的步長調適機制，可加在任何一階最佳化器之上：它會從長度、對齊與旋轉方向衡量每個複數參數連續兩次更新之間的一致程度，當更新一致時放大步長、不一致時縮小步長，且不需額外的梯度計算。將其與 Adam 和 Muon 結合，並在四個複雜度漸增的測試案例上進行比較，結果顯示它在大多數情況下都能以少量的每步額外開銷改善基礎最佳化器的收斂表現，且確認了它會失效的條件。