ИИ и сложнейшие проблемы мира · Лингвистика · arXiv · 2026-10-22
Структура, подобная классам слов и конструкциям, возникает в нейронных successor-представлениях, обученных на естественном языке
Оригинальное название: Word-Class and Construction-Like Structure Emerges in Neural Successor Representations Trained on Natural Language
Исследователи обучили остаточную сеть на WikiText-103 предсказывать представления-преемники на трёх горизонтах без частеречного контроля, проверяя, восстанавливают ли предиктивные представления лингвистическую структуру. На самом коротком горизонте кластеризация надёжно восстанавливала существительные, глаголы и прилагательные; более тонкий анализ также выявил семантико-функциональные группы, пересекающие границы частей речи, и отношения, прослеживающие конструкции-кандидаты для дат, измерений и названий-заголовков.