AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · Anthropic · 2026-09-28
Kuelekea monosemantiki
Kichwa asilia: Towards monosemanticity
Niuroni mmoja mmoja katika mitandao ya neva mara nyingi hubeba maana kadhaa kwa wakati mmoja, jambo linalozifanya kuwa ngumu kufasiriwa. Kwa kutumia ujifunzaji wa kamusi (dictionary learning), watafiti waligawanya safu moja ya transformer yenye niuroni 512 kuwa zaidi ya sifa 4,000, kila moja ikilingana na muundo wa uanzishaji wa niuroni. Sifa hizo huwakilisha kando vitu kama mfuatano wa DNA, lugha ya kisheria, maombi ya HTTP, maandishi ya Kiebrania, na kauli za lishe, sifa ambazo hazionekani tunapotazama niuroni moja baada ya nyingine.