KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-26
Eine mathematische Theorie der Jacobi-Linse
Originaltitel: A Mathematical Theory of the Jacobian Lens
Die Jacobian-Linse (J-Linse), ein Interpretierbarkeitswerkzeug von Anthropic, erkannte arbeitsgedächtnisähnliche Richtungen in Sprachmodellen, doch war unklar, warum diese Merkmale erkennbar waren. Die Autoren legen eine mathematische Theorie vor, die zeigt, dass die J-Linse bevorzugt kohärente Merkmale identifiziert, deren Störungen sich über die Schichten hinweg verstärken und über Tokenpositionen und Kontexte hinweg konsistent bleiben. Sie validierten dies an einem Bayes-Filter und einem Toy-Transformer, der Tokens aus einem Hidden-Markov-Modell vorhersagt, wobei die Änderung von Parametern, die die Merkmalskohärenz beeinflussen, die J-Linsen-Antwort wie vorhergesagt veränderte.