ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-22
Смягчение коллапса моделей с помощью Dreaming Learning
Оригинальное название: Mitigating Model Collapse through Dreaming Learning
Исследователи изучили потерю разнообразия и производительности, вызванную повторным обучением на синтетических данных, используя спектры оператора переходов в контролируемой марковской постановке. Обучение на высокотемпературных образцах делало предсказанные распределения более плоскими и смягчало коллапс, что подтверждалось спектральными измерениями на протяжении 5,000 поколений; смягчение наблюдалось также в языковых моделях LSTM и GPT-2 со 124 миллионами параметров.