AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-21
Waboreshaji Waliohamasishwa na Fizikia Zaidi ya Ukingo wa Utulivu: Mizunguko ya Kipindi-Mbili na Kutokuwa Imara Kunyumbazwa
Kichwa asilia: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability
Kwa kuwa viwango vya kujifunza katika kujifunza kwa kina ni vikubwa, mafunzo hujitendea kama mfumo wa kidinamikali wa discrete ambamo ukali kwa kawaida unapanda hadi kikomo cha uthabiti cha kiboreshaji, yaani ukingo wa uthabiti (EoS). Utafiti unachambua ramani za kinetic, ambapo hatua ni gradianti ya nishati ya kinetic ya momentum, na kuonyesha kwamba obiti zao zenye ulinganifu za kipindi cha pili zilizopo zaidi ya ukingo ni thabiti tu pale elasticity ya ramani inapokuwa kati ya 0 na 1, kwamba kutokuwa thabiti huchelewa kama katika nadharia ya Neishtadt ya bifurcations zinazopitishwa taratibu, na kwamba kitulizo cha VRAdam hushindwa zaidi ya mara mbili ya kiwango muhimu cha kujifunza huku Legendre dual yake ikifaulu kwa kila kiwango cha kujifunza. Majaribio kwenye tatizo kamili la quadratic, MLP ya full-batch na ResNet-32 yanaunga mkono nadharia hiyo, ingawa kwenye ResNet-18 sehemu kubwa ya faida inayoonekana inarudishwa kwa kuoanisha kiwango halisi cha kujifunza.