L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-22
Atténuer l'effondrement des modèles grâce au Dreaming Learning
Titre original: Mitigating Model Collapse through Dreaming Learning
Des chercheurs ont étudié la perte de diversité et de performance causée par l'entraînement répété sur des données synthétiques, en utilisant les spectres d'opérateurs de transition dans un cadre markovien contrôlé. L'entraînement sur des échantillons à haute température a aplati les distributions prédites et atténué l'effondrement, avec des mesures spectrales de confirmation sur 5 000 générations, et une atténuation également observée dans des modèles de langage LSTM et un GPT-2 de 124 millions de paramètres.