KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-20
Formal verifizierte Autoresearch zur Analyse der Ausdrucksstärke von Multi-Head-Attention
Originaltitel: Formally Verified Autoresearch for Analyzing the Expressivity of Multi-Head Attention
Die Studie untersucht, wie viele Attention-Heads ein einschichtiger Transformer, der ausschließlich aus Attention besteht, benötigt, um eine Boolesche Funktion darzustellen; dies wird als Head-Komplexität definiert. Die Autoren leiten eine exakte Normalform her, beweisen eine untere Schranke über den Schwellengrad und zeigen, dass bei symmetrischen Funktionen die Head-Komplexität der Anzahl der Wertwechsel über die Hamming-Gewichtsstufen hinweg entspricht. Ein Frontier-Modell erzeugte die Vermutungen und Beweise, die in Lean maschinell verifiziert wurden; menschliche Forschende stellten die Fragen und prüften die Ergebnisse.