AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-23
Mbinu ya Udhibiti Bora kwa Mafunzo ya Transformer
Kichwa asilia: An Optimal Control Approach To Transformer Training
Utafiti huu unachukulia mafunzo ya Transformer kama tatizo la udhibiti bora linaloheshimu vikwazo vya kimuundo, ikiwemo utekelezaji usiotegemea ingizo na utegemezi wa nafasi. Waandishi wanainua modeli hadi mchakato wa maamuzi wa Markov unaoonekana kikamilifu juu ya vipimo vya uwezekano, wanathibitisha kuwa sera bora kabisa zipo, na wanapendekeza utaratibu wa mafunzo wenye ukwantishaji mara tatu unaokwantisha nafasi za hali, kipimo na kitendo. Wanaonyesha kuwa sera yoyote bora kwa modeli iliyokwantishwa iko karibu na bora kwa tatizo halisi la mafunzo, hivyo kutoa mbadala wa kinadharia wa mafunzo yanayotegemea gradient ambao hauhitaji ulaini wala ukuvu (convexity).