AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · Anthropic · 2026-09-28
दोहराए गए डेटा से सीखने के स्केलिंग नियम
मूल शीर्षक: Scaling laws of learning from repeated data
यह अध्ययन जाँचता है कि दोहराया गया प्रशिक्षण डेटा भाषा मॉडलों को कैसे प्रभावित करता है। प्रशिक्षण डेटा के केवल 0.1% को 100 बार दोहराने से 800M-पैरामीटर वाले मॉडल का प्रदर्शन 400M-पैरामीटर वाले मॉडल के स्तर तक गिर गया, जबकि बाकी 90% टोकन अद्वितीय बने रहे। लेखकों ने यह भी पाया कि दोहराव कॉपीइंग और इंडक्शन हेड्स को नुकसान पहुँचाता है, जो सामान्यीकरण से जुड़े हैं, और सुझाव दिया कि यह सामान्यीकरण से याद करने (memorization) की ओर बदलाव की व्याख्या कर सकता है।