AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-22
Kupunguza Kuanguka kwa Mfano kupitia Dreaming Learning
Kichwa asilia: Mitigating Model Collapse through Dreaming Learning
Watafiti walichunguza upotevu wa utofauti na utendaji unaosababishwa na mafunzo yanayojirudia kwenye data bandia, kwa kutumia spectra za transition-operator katika mazingira ya Markov yaliyodhibitiwa. Mafunzo kwenye sampuli za halijoto ya juu yalifanya usambazaji uliotabiriwa kuwa bapa na kupunguza kuanguka, huku kukiwa na vipimo vya spectrum vinavyothibitisha katika vizazi zaidi ya 5,000, na kupungua huko kuonekana pia katika modeli za lugha za LSTM na GPT-2 ya vigezo milioni 124.