AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-21
AURA: Angular Update Rate Adaptation untuk pelatihan jaringan saraf bernilai kompleks
Judul asli: AURA: Angular Update Rate Adaptation for training complex-valued neural networks
Jaringan saraf bernilai kompleks sering dilatih dengan pengoptimal orde pertama yang diwarisi dari kasus bernilai real, yang aturan ukuran langkahnya mengabaikan informasi sudut yang tersedia di bidang kompleks. AURA adalah adaptasi ukuran langkah per parameter yang dapat ditambahkan di atas pengoptimal orde pertama apa pun: metode ini mengukur kesesuaian antara pembaruan berturut-turut untuk setiap parameter kompleks dalam hal panjang, keselarasan, dan arah rotasi, memperbesar langkah ketika pembaruan tersebut konsisten dan memperkecilnya ketika tidak, tanpa evaluasi gradien tambahan. Dikombinasikan dengan Adam dan Muon serta dibandingkan pada empat kasus uji dengan kompleksitas yang meningkat, metode ini meningkatkan konvergensi pengoptimal dasarnya pada sebagian besar kasus dengan overhead per langkah yang kecil, dan kondisi ketika metode ini gagal telah diidentifikasi.