KI und die schwierigen Probleme der Welt · Theoretische Informatik · Anthropic · 2026-09-28
Ein mathematischer Rahmen für Transformer Circuits
Originaltitel: A mathematical framework for Transformer Circuits
Die Forschenden haben kleine Transformer, die nur aus Attention bestehen, per Reverse Engineering untersucht, um zu verstehen, wie Induction Heads entstehen. Die Arbeit zeigt, dass sie durch Head-Komposition entstehen.