AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · arXiv · 2026-10-22

جیومیٹرک نالج اسپیسز، اٹینشن پئیرنگ اور آرکیٹیکچرز

اصل عنوان: Geometric knowledge spaces, Attention pairing and Architectures

paper attention mechanisms کو derive کرنے اور ممکنہ نئے transformer architectures کو تلاش کرنے کا ایک geometric approach تجویز کرتا ہے۔ یہ knowledge worlds اور attention pairings کے تصورات کو رسمی شکل دیتا ہے، پھر ظاہر کرتا ہے کہ یہ framework فطری طور پر standard attention، causal attention، linear attention، tensor attention، اور recurrent neural networks کی architectures کی طرف لے جاتا ہے۔ آخر میں، یہ کئی نئے geometric spaces متعارف کراتا ہے جو novel neural network architectures کو تحریک دے سکتے ہیں۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →