IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · Anthropic · 2026-09-28
Uma estrutura matemática para Transformer Circuits
Título original: A mathematical framework for Transformer Circuits
Os pesquisadores fizeram engenharia reversa de pequenos transformers somente de atenção para estudar como as induction heads se formam. O trabalho mostra que elas se formam por meio da composição de cabeças.