AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-22
Mitigasi Model Collapse melalui Dreaming Learning
Judul asli: Mitigating Model Collapse through Dreaming Learning
Para peneliti mempelajari hilangnya keragaman dan kinerja akibat pelatihan berulang pada data sintetis, dengan menggunakan spektra operator transisi dalam pengaturan Markov yang terkontrol. Pelatihan pada sampel bersuhu tinggi membuat distribusi yang diprediksi menjadi rata dan meredam keruntuhan, didukung oleh pengukuran spektral selama lebih dari 5,000 generasi, dan peredaman tersebut juga diamati pada model bahasa LSTM serta GPT-2 berparameter 124 juta.