AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · Anthropic · 2026-09-28
सुपरपोज़िशन, याद करना (memorization) और डबल डिसेंट
मूल शीर्षक: Superposition, memorization, and double descent
यह प्रारंभिक अध्ययन सीमित डेटासेट पर सुपरपोज़िशन प्रदर्शित करने वाले खिलौना मॉडलों (toy models) को प्रशिक्षित करता है ताकि ओवरफ़िटिंग और याद करने (memorization) की जाँच की जा सके। लेखकों ने पाया कि ओवरफ़िटिंग सुपरपोज़िशन में फ़ीचर्स के बजाय डेटा बिंदुओं को संग्रहीत करने के अनुरूप है। वे इस खिलौना मॉडल को ओवरफ़िटिंग के लिए आश्चर्यजनक रूप से समृद्ध केस स्टडी के रूप में प्रस्तुत करते हैं।