AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-26
Sifa za jumlisho za perceptron ya tokeni: nafasi ya uwekaji na msamiati
Kichwa asilia: Generalization properties of the token perceptron: the role of embedding and vocabulary
Utabiri wa tokeni katika modeli kubwa za lugha ni tatizo la uainishaji ambalo jiometri yake huamuliwa na embedding, kwa hiyo waandishi wanachunguza modeli ndogo ya mstari iitwayo token perceptron. Kwa kutumia replica method, wanahesabu kosa lake la ujumlishaji na kugundua kuwa kwa embedding endelevu mwalimu hurejeshwa kikamilifu juu ya kizingiti cha d²/(d−1). Kwa embedding za msamiati, mwanafunzi bora hutatua kwanza mielekeo ambamo msamiati hutofautiana zaidi, hata mwalimu anapokuwa isotropiki.