La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-22
Mitigación del colapso del modelo mediante Dreaming Learning
Título original: Mitigating Model Collapse through Dreaming Learning
Investigadores estudiaron la pérdida de diversidad y rendimiento causada por el entrenamiento repetido con datos sintéticos, utilizando espectros del operador de transición en un entorno de Markov controlado. El entrenamiento con muestras de alta temperatura aplanó las distribuciones predichas y mitigó el colapso, con mediciones espectrales de apoyo a lo largo de 5.000 generaciones, y la mitigación también se observó en modelos de lenguaje LSTM y en un GPT-2 de 124 millones de parámetros.