ИИ и сложнейшие проблемы мира · Науки о жизни · arXiv · 2026-10-19
Глубокие слои LLM раскрывают контекст на уровне фрагмента текста в ЭЭГ при чтении про себя
Оригинальное название: Deep LLM layers expose passage-level context in EEG during silent reading
В предыдущем исследовании информация на уровне слов декодировалась из 19-канальной ЭЭГ, записанной во время чтения про себя, с помощью скрытых представлений (эмбеддингов) LLM. В этом исследовании для каждого слоя Llama-3.1-8B обучили отдельный декодер и обнаружили, что декодируемость на уровне слов достигает пика в ранних слоях и снижается к последнему слою, тогда как отслеживание контекста растёт с глубиной. Контрольные эксперименты показали, что отслеживание контекста в основном следует за текстом, а не за декодированием слов или сигнатурами конкретных сессий, и даже одно 0,5-секундное окно ЭЭГ содержало информацию на уровне отрывка.