L'IA face aux grands problèmes du monde · Informatique théorique · Anthropic · 2026-09-28
Superposition, mémorisation et double descente
Titre original: Superposition, memorization, and double descent
Cette étude préliminaire entraîne des modèles jouets présentant de la superposition sur des jeux de données limités afin d'étudier le surapprentissage et la mémorisation. Les auteurs constatent que le surapprentissage correspond au stockage de points de données, plutôt que de caractéristiques, en superposition. Ils présentent le modèle jouet comme une étude de cas étonnamment riche pour le surapprentissage.