KI und die schwierigen Probleme der Welt · Linguistik · arXiv · 2026-10-22
Wortklassen- und konstruktionsähnliche Strukturen entstehen in neuronalen Successor Representations, die auf natürlicher Sprache trainiert wurden
Originaltitel: Word-Class and Construction-Like Structure Emerges in Neural Successor Representations Trained on Natural Language
Forschende trainierten ein Residualnetzwerk auf WikiText-103, um Nachfolger-Repräsentationen bei drei Horizonten ohne Part-of-Speech-Überwachung vorherzusagen, und prüften, ob prädiktive Repräsentationen linguistische Struktur rekonstruieren. Beim kürzesten Horizont fand das Clustering zuverlässig Substantive, Verben und Adjektive wieder; eine feinere Analyse deckte zudem semantisch-funktionale Gruppen auf, die Wortartengrenzen überschreiten, sowie Relationen, die mögliche Datums-, Mess- und Titel-Name-Konstruktionen nachzeichnen.