KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-26
Test der Lernbarkeit der arithmetischen Folge gewurzelter Bäume durch Transformer
Originaltitel: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
Die Studie fragt, ob ein Transformer die deterministische Folge gewurzelter Bäume lernen kann, die durch iterierte Primfaktorzerlegung der natürlichen Zahlen entsteht. Ein von Grund auf trainiertes Modell im Stil von GPT-2, das auf den ersten 10^11 Elementen trainiert wurde, erreichte bei der Vorhersage des nächsten und des maskierten Tokens eine Wortgenauigkeit von etwa 0,4, lag damit über einer Hidden-Markov-Modell-Baseline und blieb auf Testblöcken bei 10^13 bis 10^15 stabil. Die Likelihood des Modells trennte den arithmetischen Text außerdem von Kontrollen, die die Token-Häufigkeiten, nicht aber deren Reihenfolge beibehalten, sowie von Folgen mit mehr als drei aufeinanderfolgenden quadratfreien ganzen Zahlen, was die Arithmetik ausschließt.