ИИ и сложнейшие проблемы мира · Теоретическая информатика · Anthropic · 2026-09-28
Привилегированные базисы в остаточном потоке трансформера
Оригинальное название: Privileged bases in the transformer residual stream
Исследование изучает, почему отдельные координаты в остаточном потоке Transformer демонстрируют поведение привилегированного базиса, хотя теория предсказывает, что они должны быть произвольными. Авторы предварительно связывают этот эффект с нормализаторами по каждому измерению в оптимизаторе Adam. Layer normalization и арифметика с плавающей запятой конечной точности были исключены как источники.