L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-26
Propriétés de généralisation du perceptron à jetons : le rôle du plongement et du vocabulaire
Titre original: Generalization properties of the token perceptron: the role of embedding and vocabulary
La prédiction de jetons dans les grands modèles de langage est un problème de classification dont la géométrie est fixée par le plongement ; les auteurs étudient donc un modèle linéaire minimal appelé perceptron de jetons. En utilisant la méthode des répliques, ils calculent son erreur de généralisation et constatent que, pour des plongements continus, le modèle enseignant est retrouvé exactement au-delà d'un seuil de d²/(d−1). Pour les plongements de vocabulaire, l'apprenant optimal résout d'abord les directions selon lesquelles le vocabulaire varie le plus, même lorsque l'enseignant est isotrope.