IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · Anthropic · 2026-09-28
Leis de escala do aprendizado com dados repetidos
Título original: Scaling laws of learning from repeated data
O estudo examina como dados de treinamento repetidos afetam os modelos de linguagem. Repetir apenas 0,1% dos dados de treinamento 100 vezes reduziu um modelo de 800M de parâmetros ao desempenho de um modelo de 400M de parâmetros, embora os outros 90% dos tokens permanecessem únicos. Os autores também constataram que a repetição prejudica as cabeças de cópia e de indução, que estão ligadas à generalização, e sugerem que isso pode explicar a transição da generalização para a memorização.