AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · Anthropic · 2026-09-28

دہرائے گئے ڈیٹا سے سیکھنے کے اسکیلنگ قوانین

اصل عنوان: Scaling laws of learning from repeated data

یہ مطالعہ جانچتا ہے کہ دہرایا گیا تربیتی ڈیٹا لینگوئج ماڈلز کو کیسے متاثر کرتا ہے۔ تربیتی ڈیٹا کے صرف 0.1% کو 100 بار دہرانے سے 800M پیرامیٹر والے ماڈل کی کارکردگی گھٹ کر 400M پیرامیٹر والے ماڈل کے برابر رہ گئی، حالانکہ باقی 90% ٹوکنز منفرد رہے۔ مصنفین نے یہ بھی پایا کہ تکرار کاپی کرنے والے اور induction heads کو نقصان پہنچاتی ہے، جو عمومی کاری سے منسلک ہیں، اور تجویز کرتے ہیں کہ یہ عمومی کاری سے یادداشت سازی کی طرف منتقلی کی وضاحت کر سکتا ہے۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →