KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-26
Verallgemeinerungseigenschaften des Token-Perzeptrons: die Rolle von Embedding und Vokabular
Originaltitel: Generalization properties of the token perceptron: the role of embedding and vocabulary
Die Token-Vorhersage in großen Sprachmodellen ist ein Klassifikationsproblem, dessen Geometrie durch die Einbettung bestimmt wird; deshalb untersuchen die Autoren ein minimales lineares Modell, das Token-Perzeptron. Mit der Replikamethode berechnen sie dessen Generalisierungsfehler und stellen fest, dass bei kontinuierlichen Einbettungen der Teacher oberhalb einer Schwelle von d²/(d−1) exakt wiederhergestellt wird. Bei Vokabular-Einbettungen löst der optimale Lerner zuerst die Richtungen auf, in denen das Vokabular am stärksten variiert, selbst wenn der Teacher isotrop ist.