AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-22
ドリーミング学習によるモデル崩壊の緩和
原題: Mitigating Model Collapse through Dreaming Learning
生成モデルが合成データでの学習を繰り返すと多様性や性能を失うモデル崩壊を、制御されたマルコフ設定で遷移演算子の固有値スペクトルから分析した。高温度で生成したサンプルによる学習が予測分布を平坦化して崩壊を緩和する仕組みを示し、5000世代にわたるスペクトル測定に加え、LSTM言語モデルと1億2400万パラメータのGPT-2でも緩和効果を確認した。