La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-26
Propiedades de generalización del perceptrón de tokens: el papel del embedding y del vocabulario
Título original: Generalization properties of the token perceptron: the role of embedding and vocabulary
La predicción de tokens en los modelos de lenguaje de gran tamaño es un problema de clasificación cuya geometría viene determinada por el embedding, por lo que los autores estudian un modelo lineal mínimo llamado perceptrón de tokens. Mediante el método de réplicas, calculan su error de generalización y encuentran que, para embeddings continuos, el maestro se recupera exactamente por encima de un umbral de d²/(d−1). Para los embeddings de vocabulario, el aprendiz óptimo resuelve primero las direcciones en las que el vocabulario varía más, incluso cuando el maestro es isótropo.