AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-26
Muunganiko wa SGD yenye Hatua Kubwa kwa Hasara ya Cross-entropy kupitia Uthabiti wa Lyapunov wa Kistokastiki
Kichwa asilia: Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability
Ujifunzaji wa kina mara nyingi hutumia viwango vya kujifunza vikubwa zaidi kuliko nadharia ya kawaida ya uboreshaji inavyoweza kuhalalisha, ilhali mazingira ya kistokastiki hayajachunguzwa kwa kiasi kikubwa. Waandishi wanatoa hakikisho kamili la muunganiko kwa SGD kwenye hasara ya cross-entropy ya madarasa mengi kwa viainishi vya mstari na mitandao ya neva ya tabaka mbili, wakionyesha kwamba mienendo inaweza kupishana kati ya hali ya ukingo wa uthabiti inayotawaliwa na mizunguko inayosababishwa na mkunjo na hali thabiti ambapo hasara inayotarajiwa hupungua kwa kasi inayodhibitiwa. Wanathibitisha kwamba SGD hurudi kwenye uthabiti ndani ya idadi maalum ya marudio, hivyo kuruhusu muunganiko wa marudio bora hata kwa viwango vikubwa vya kujifunza, na majaribio yanathibitisha matokeo haya.