La IA y los problemas difíciles del mundo · Informática teórica · Anthropic · 2026-09-28
Un marco matemático para los circuitos de Transformer
Título original: A mathematical framework for Transformer Circuits
Los investigadores aplicaron ingeniería inversa a pequeños transformers de solo atención para estudiar cómo se forman las cabezas de inducción. El trabajo muestra que se forman mediante la composición de cabezas.