AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-22
Nafasi za Maarifa ya Jiometri, Kuunganisha kwa Attention na Miundo
Kichwa asilia: Geometric knowledge spaces, Attention pairing and Architectures
Makala inapendekeza mbinu ya kijiometri ya kupata mifumo ya attention na kuchunguza miundo mipya inayoweza kutokea ya transformer. Inafafanua dhana za ulimwengu wa maarifa na jozi za attention, kisha inaonyesha kuwa mfumo huu kwa asili unapeleka kwenye miundo ya attention ya kawaida, attention ya causal, attention ya mstari, attention ya tensor, na mitandao ya neva inayojirudia. Mwisho, inatambulisha nafasi kadhaa mpya za kijiometri zinazoweza kuchochea miundo mipya ya mitandao ya neva.