ИИ и сложнейшие проблемы мира · Теоретическая информатика · Anthropic · 2026-09-28
Суперпозиция, запоминание и двойной спуск
Оригинальное название: Superposition, memorization, and double descent
В этом предварительном исследовании обучаются игрушечные модели, демонстрирующие суперпозицию, на ограниченных наборах данных, чтобы изучить переобучение и запоминание. Авторы обнаружили, что переобучение соответствует хранению в суперпозиции точек данных, а не признаков. Они представляют игрушечную модель как на удивление богатый пример для изучения переобучения.