AI与世界难题 · 语言学 · arXiv · 2026-10-22

在自然语言上训练的神经后继表示中涌现出词类与构式类结构

原标题: Word-Class and Construction-Like Structure Emerges in Neural Successor Representations Trained on Natural Language

研究人员在WikiText-103上训练了一个残差网络，在无词性监督的情况下于三个跨度上预测后继表示，以检验预测表示能否恢复语言结构。在最短跨度上，聚类可靠地恢复了名词、动词和形容词；更精细的分析还揭示了跨越词类边界的语义-功能组，以及追踪候选日期、测量和头衔-姓名结构的关联。