L'IA face aux grands problèmes du monde · Informatique théorique · Anthropic · 2026-09-28
Lois d'échelle de l'apprentissage à partir de données répétées
Titre original: Scaling laws of learning from repeated data
L'étude examine comment la répétition de données d'entraînement affecte les modèles de langage. Répéter seulement 0,1 % des données d'entraînement 100 fois a ramené un modèle de 800M paramètres aux performances d'un modèle de 400M paramètres, alors que les 90 % restants des jetons demeuraient uniques. Les auteurs ont également constaté que la répétition endommage les têtes de copie et d'induction, qui sont liées à la généralisation, et suggèrent que cela pourrait expliquer le passage de la généralisation à la mémorisation.