AIが解く世界の難問 · 言語学 · arXiv · 2026-10-22
自然言語で学習したニューラル後継表現に現れる品詞と構文に似た構造
原題: Word-Class and Construction-Like Structure Emerges in Neural Successor Representations Trained on Natural Language
言語の予測表現から品詞やより細かな機能的構造が生じるかを調べるため、残差ネットワークをWikiText-103で学習し、品詞の教師情報なしで3つの予測範囲の後継表現を推定した。最も短い予測範囲では名詞・動詞・形容詞が教師なしクラスタリングで安定して復元され、より細かな分析では品詞をまたぐ意味・機能上のまとまりや、日付・測定・肩書きと名前の構文候補に対応する関係も現れた。