AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-26
Nadharia ya Kihisabati ya Lenzi ya Jacobian
Kichwa asilia: A Mathematical Theory of the Jacobian Lens
Lenzi ya Jacobian (J-lens), zana ya ufasiri kutoka Anthropic, iligundua mielekeo inayofanana na kumbukumbu ya kazi katika miundo ya lugha, lakini haikuwa wazi kwa nini vipengele hivi viligundulika. Waandishi wanawasilisha nadharia ya kihisabati inayoonyesha kwamba J-lens hutambua zaidi vipengele vyenye mshikamano, ambavyo mitikisiko yake huongezeka kupitia tabaka na hubaki thabiti katika nafasi za tokeni na miktadha. Walithibitisha hili kwenye kichujio cha Bayes na kibadilishaji (transformer) cha mfano kinachotabiri tokeni kutoka kwa modeli fiche ya Markov, ambapo kubadilisha vigezo vinavyobadilisha mshikamano wa kipengele kulibadilisha mwitikio wa J-lens kama ilivyotabiriwa.