AI 與世界的難題 · 語言學 · arXiv · 2026-10-22

在自然語言上訓練的神經後繼表徵中湧現詞類與類構式結構

原標題: Word-Class and Construction-Like Structure Emerges in Neural Successor Representations Trained on Natural Language

研究人員在 WikiText-103 上訓練殘差網路，在沒有詞性監督的情況下於三種時程預測後繼表徵，以檢驗預測性表徵能否重現語言結構。在最短的時程下，分群可靠地還原出名詞、動詞與形容詞；更精細的分析也揭示了跨越詞類邊界的語意功能群組，以及可追溯候選日期、測量與標題名稱結構的關聯。