IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-22
Mitigando o Model Collapse por meio do Dreaming Learning
Título original: Mitigating Model Collapse through Dreaming Learning
Pesquisadores estudaram a perda de diversidade e de desempenho causada pelo treinamento repetido sobre dados sintéticos, usando espectros do operador de transição em um cenário de Markov controlado. O treinamento sobre amostras de alta temperatura achatou as distribuições previstas e mitigou o colapso, com medições espectrais de suporte ao longo de 5.000 gerações e mitigação também observada em modelos de linguagem LSTM e em um GPT-2 de 124 milhões de parâmetros.