AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · arXiv · 2026-10-21
Utaratibu wa Tabaka la Mipaka kwa Upanuzi wa Theluthi-Moja katika Uainishaji wa Softmax Mtandaoni
Kichwa asilia: A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification
Utafiti unatenga utaratibu ambao utokolingana kati ya hasara za surrogate laini kama softmax cross-entropy na lebo ngumu za kutenganika huleta mikondo ya kujifunza ya power-law, kwa kutumia mwanafunzi wa softmax wa tabaka moja aliyeandaliwa kwa online SGD kwenye ingizo za Gaussian zenye lebo za mwalimu za argmax. Katika nyakati za baadaye, tabaka tu za sampuli zinazopungua kuzunguka mipaka ya maamuzi ya mwalimu ndizo zinazobaki hai, hali inayozalisha sheria ya α^{-1/3} katika muda wa mafunzo kwa ajili ya hasara ya jaribio na pia hitilafu ya ujumlishaji. Sheria ya hitilafu ni athari ya kelele za online, na learning-rate annealing hubinafsisha kiashiria chake kutoka 1/3 kuelekea 1/2 huku ikipunguza kasi ya hasara, jambo linaloendelea hata bila kelele za gradient.