IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-26
Propriedades de generalização do perceptron de tokens: o papel do embedding e do vocabulário
Título original: Generalization properties of the token perceptron: the role of embedding and vocabulary
A previsão de tokens em grandes modelos de linguagem é um problema de classificação cuja geometria é definida pelo embedding, então os autores estudam um modelo linear mínimo chamado perceptron de tokens. Usando o método das réplicas, eles calculam seu erro de generalização e constatam que, para embeddings contínuos, o professor é recuperado exatamente acima de um limiar de d²/(d−1). Para embeddings de vocabulário, o aprendiz ótimo resolve primeiro as direções em que o vocabulário mais varia, mesmo quando o professor é isotrópico.