Intelligence SynthesisJAEN

IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-21

AURA: Angular Update Rate Adaptation para o treinamento de redes neurais de valores complexos

Título original: AURA: Angular Update Rate Adaptation for training complex-valued neural networks

Redes neurais de valores complexos costumam ser treinadas com otimizadores de primeira ordem herdados do caso real, cujas regras de tamanho de passo ignoram as informações angulares disponíveis no plano complexo. AURA é uma adaptação de tamanho de passo por parâmetro que pode ser adicionada a qualquer otimizador de primeira ordem: ela mede a concordância entre as atualizações consecutivas de cada parâmetro complexo em termos de comprimento, alinhamento e sentido de rotação, ampliando o passo quando são consistentes e reduzindo-o quando não são, sem avaliações de gradiente adicionais. Combinada com Adam e Muon e comparada em quatro casos de teste de complexidade crescente, ela melhorou a convergência do otimizador de base na maioria dos casos, com uma pequena sobrecarga por passo, e as condições sob as quais ela falha foram identificadas.

Ler o original ↗

Todos os itens →