KI und die schwierigen Probleme der Welt · Theoretische Informatik · Anthropic · 2026-09-28
Superposition, Memorierung und Double Descent
Originaltitel: Superposition, memorization, and double descent
Diese vorläufige Studie trainiert Toy-Modelle, die Superposition aufweisen, auf begrenzten Datensätzen, um Overfitting und Memorierung zu untersuchen. Die Autoren stellen fest, dass Overfitting dem Speichern von Datenpunkten statt von Merkmalen in Superposition entspricht. Sie präsentieren das Toy-Modell als überraschend reichhaltige Fallstudie zum Overfitting.