ИИ и сложнейшие проблемы мира · Теоретическая информатика · Anthropic · 2026-09-28
На пути к моносемантичности
Оригинальное название: Towards monosemanticity
Отдельные нейроны в нейронных сетях часто несут сразу несколько значений, из-за чего их трудно интерпретировать. С помощью обучения словаря исследователи разложили слой трансформера из 512 нейронов на более чем 4 000 признаков, каждый из которых соответствует паттерну активаций нейронов. Эти признаки по отдельности представляют такие вещи, как последовательности ДНК, юридический язык, HTTP-запросы, текст на иврите и утверждения о питании — свойства, которые не видны при рассмотрении нейронов по одному.