KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-22
Abschwächung von Model Collapse durch Dreaming Learning
Originaltitel: Mitigating Model Collapse through Dreaming Learning
Forschende untersuchten den Verlust an Vielfalt und Leistung durch wiederholtes Training auf synthetischen Daten und nutzten dafür Spektren des Übergangsoperators in einer kontrollierten Markov-Umgebung. Training auf Hochtemperaturproben flachte die vorhergesagten Verteilungen ab und schwächte den Kollaps ab, gestützt durch spektrale Messungen über 5000 Generationen hinweg; die Abschwächung wurde auch in LSTM-Sprachmodellen und einem GPT-2 mit 124 Millionen Parametern beobachtet.