L'IA face aux grands problèmes du monde · Linguistique · arXiv · 2026-10-22
Des structures de classes de mots et de type construction émergent dans des représentations de successeur neuronales entraînées sur du langage naturel
Titre original: Word-Class and Construction-Like Structure Emerges in Neural Successor Representations Trained on Natural Language
Des chercheurs ont entraîné un réseau résiduel sur WikiText-103 pour prédire des représentations de successeur à trois horizons, sans supervision des parties du discours, afin de tester si des représentations prédictives retrouvent la structure linguistique. À l'horizon le plus court, le clustering a permis de retrouver de manière fiable les noms, les verbes et les adjectifs ; une analyse plus fine a également révélé des groupes sémantico-fonctionnels traversant les frontières entre classes de mots, ainsi que des relations traçant des constructions candidates de dates, de mesures et de titre-nom.