ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-22
Геометрические пространства знаний, сопряжение внимания и архитектуры
Оригинальное название: Geometric knowledge spaces, Attention pairing and Architectures
В работе предлагается геометрический подход к выводу механизмов внимания и исследованию потенциально новых архитектур трансформеров. Он формализует понятия миров знаний и спариваний внимания, а затем демонстрирует, что эта структура естественным образом приводит к архитектурам стандартного внимания, каузального внимания, линейного внимания, тензорного внимания и рекуррентных нейронных сетей. Наконец, вводятся несколько новых геометрических пространств, которые могут вдохновить на создание новых архитектур нейронных сетей.