KI und die schwierigen Probleme der Welt · Theoretische Informatik · Anthropic · 2026-09-28
Skalierungsgesetze des Lernens aus wiederholten Daten
Originaltitel: Scaling laws of learning from repeated data
Die Studie untersucht, wie sich wiederholte Trainingsdaten auf Sprachmodelle auswirken. Wurden nur 0,1 % der Trainingsdaten 100-mal wiederholt, sank ein Modell mit 800 Mio. Parametern auf die Leistung eines Modells mit 400 Mio. Parametern, obwohl die übrigen 90 % der Tokens einzigartig blieben. Die Autoren stellten zudem fest, dass Wiederholung Copying- und Induction-Heads schädigt, die mit Generalisierung verbunden sind, und vermuten, dass dies den Übergang von der Generalisierung zur Memorierung erklären könnte.