AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-22
透過 Dreaming Learning 緩解模型崩潰
原標題: Mitigating Model Collapse through Dreaming Learning
研究人員在受控的馬可夫設定中利用轉移算子譜，探討反覆以合成資料訓練所造成的多樣性與效能損失。以高溫樣本訓練能使預測分布變得平坦並減緩崩潰，並有跨越 5,000 個世代的譜測量作為支持，且在 LSTM 語言模型與 1.24 億參數的 GPT-2 中也觀察到減緩效果。