ИИ и сложнейшие проблемы мира · Теоретическая информатика · Anthropic · 2026-09-28
Законы масштабирования при обучении на повторяющихся данных
Оригинальное название: Scaling laws of learning from repeated data
Исследование изучает, как повторяющиеся обучающие данные влияют на языковые модели. Повторение всего 0.1% обучающих данных 100 раз снизило производительность модели с 800M параметров до уровня модели с 400M параметров, хотя остальные 90% токенов оставались уникальными. Авторы также обнаружили, что повторение повреждает головы копирования и индукции, связанные с обобщением, и предполагают, что это может объяснять переход от обобщения к запоминанию.