La IA y los problemas difíciles del mundo · Informática teórica · Anthropic · 2026-09-28
Leyes de escalado del aprendizaje a partir de datos repetidos
Título original: Scaling laws of learning from repeated data
El estudio examina cómo afectan los datos de entrenamiento repetidos a los modelos de lenguaje. Repetir solo el 0.1% de los datos de entrenamiento 100 veces redujo un modelo de 800M de parámetros al rendimiento de uno de 400M de parámetros, a pesar de que el otro 90% de los tokens seguía siendo único. Los autores también descubrieron que la repetición daña las cabezas de copia e inducción, que están vinculadas a la generalización, y sugieren que esto podría explicar el paso de la generalización a la memorización.