AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-26
Algorithimu za Kasi Orthogonalized Zinazozingatia Ukali
Kichwa asilia: Sharpness-aware Orthogonalized Momentum Algorithms
Sharpness-aware minimization huboresha ujumlishaji katika kujifunza kwa kina, lakini hesabu yake ya ziada ya gradient ni ghali kwa miundo mikubwa ya lugha, na mchanganyiko wake na kiboreshaji cha Muon umechunguzwa kidogo. Waandishi wanapendekeza SOMA, inayotumia kelele ya zamani ya stochastic gradient kwa misukosuko ya kimapambano ili kuoanisha mpango bora wa misukosuko na Muon. Wanaonyesha kinadharia kwamba utata wa sampuli wa SOMA hautegemei mwelekeo wa msukosuko, na wanachunguza matumizi yake dhidi ya upotevu wa ubora kutokana na quantization baada ya mafunzo na usahaulifu mkubwa wakati wa urekebishaji wa LLM.