AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-21
AURA：用于训练复值神经网络的角更新率自适应方法
原标题: AURA: Angular Update Rate Adaptation for training complex-valued neural networks
复值神经网络通常使用继承自实值情形的一阶优化器进行训练，而这些优化器的步长规则忽略了复平面中可用的角度信息。AURA 是一种逐参数的步长自适应机制，可以叠加在任意一阶优化器之上：它从长度、方向一致性和旋转方向三个方面衡量每个复参数连续两次更新之间的一致程度，当更新一致时增大步长、不一致时减小步长，且不需要额外的梯度评估。将 AURA 与 Adam 和 Muon 结合，并在四个复杂度递增的测试用例上进行比较后，它在大多数情况下以较小的每步开销改善了基础优化器的收敛性，同时还识别出了其失效的条件。