IA e os Problemas Difíceis do Mundo · Linguística · arXiv · 2026-10-22
Estrutura semelhante a classes de palavras e a construções emerge em representações neurais de sucessor treinadas em linguagem natural
Título original: Word-Class and Construction-Like Structure Emerges in Neural Successor Representations Trained on Natural Language
Pesquisadores treinaram uma rede residual no WikiText-103 para prever representações sucessoras em três horizontes sem supervisão de classes gramaticais, testando se representações preditivas recuperam a estrutura linguística. No horizonte mais curto, o agrupamento recuperou de forma confiável substantivos, verbos e adjetivos; uma análise mais refinada também revelou grupos semântico-funcionais que atravessam fronteiras entre classes de palavras e relações que traçam construções candidatas de datas, medidas e nomes de títulos.