AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-22
Ruang pengetahuan geometris, Attention pairing dan Arsitektur
Judul asli: Geometric knowledge spaces, Attention pairing and Architectures
Makalah ini mengusulkan pendekatan geometris untuk menurunkan mekanisme atensi dan mengeksplorasi potensi arsitektur transformer baru. Makalah ini memformalkan gagasan dunia pengetahuan dan pasangan atensi, lalu menunjukkan bahwa kerangka kerja ini secara alami mengarah pada arsitektur atensi standar, atensi kausal, atensi linier, atensi tensor, dan jaringan saraf berulang. Terakhir, makalah ini memperkenalkan beberapa ruang geometris baru yang dapat menginspirasi arsitektur jaringan saraf yang baru.