AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · arXiv · 2026-10-22

ड्रीमिंग लर्निंग के माध्यम से मॉडल कोलैप्स का शमन

मूल शीर्षक: Mitigating Model Collapse through Dreaming Learning

शोधकर्ताओं ने एक नियंत्रित मार्कोव सेटिंग में ट्रांज़िशन-ऑपरेटर स्पेक्ट्रा का उपयोग करके सिंथेटिक डेटा पर बार-बार प्रशिक्षण से उत्पन्न विविधता और प्रदर्शन की हानि का अध्ययन किया। उच्च-तापमान वाले नमूनों पर प्रशिक्षण ने अनुमानित वितरणों को समतल किया और पतन को कम किया; 5,000 पीढ़ियों तक के समर्थक स्पेक्ट्रल मापन इसकी पुष्टि करते हैं, और LSTM भाषा मॉडलों तथा 124-मिलियन-पैरामीटर GPT-2 में भी यह शमन देखा गया।

मूल लेख पढ़ें ↗

सभी आइटम →