IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · Anthropic · 2026-09-28
Bases privilegiadas no fluxo residual do Transformer
Título original: Privileged bases in the transformer residual stream
O estudo examina por que coordenadas individuais no fluxo residual do Transformer apresentam comportamento de base privilegiada, mesmo que a teoria preveja que deveriam ser arbitrárias. Os autores atribuem provisoriamente o efeito aos normalizadores por dimensão do otimizador Adam. A normalização de camada e a aritmética de ponto flutuante de precisão finita foram descartadas como origens.