AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-22
通过梦境学习缓解模型坍缩
原标题: Mitigating Model Collapse through Dreaming Learning
研究人员利用受控马尔可夫设置中的转移算子谱，研究了在合成数据上反复训练造成的多样性和性能损失。用高温样本进行训练使预测分布变得平坦并缓解了坍缩，5,000代以上的谱测量为此提供了支持，在LSTM语言模型和1.24亿参数的GPT-2中也观察到了缓解效果。
AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-22
原标题: Mitigating Model Collapse through Dreaming Learning
研究人员利用受控马尔可夫设置中的转移算子谱，研究了在合成数据上反复训练造成的多样性和性能损失。用高温样本进行训练使预测分布变得平坦并缓解了坍缩，5,000代以上的谱测量为此提供了支持，在LSTM语言模型和1.24亿参数的GPT-2中也观察到了缓解效果。