AI اور دنیا کے مشکل مسائل · نظریاتی کمپیوٹر سائنس · Anthropic · 2026-10-09

آئینی درجہ بند

اصل عنوان: Constitutional Classifiers

بڑے لینگویج ماڈلز کو اب بھی جیل بریک کیا جا سکتا ہے، یعنی صارفین ان کے حفاظتی رکاوٹوں کو نظرانداز کر کے نقصان دہ آؤٹ پٹ حاصل کر لیتے ہیں۔ Anthropic کی Safeguards Research Team نے Constitutional Classifiers پر مبنی دفاع تجویز کیا، جو ان پٹ اور آؤٹ پٹ کلاسیفائرز ہیں۔ ایک پروٹو ٹائپ نے یونیورسل جیل بریکس کے لیے انسانی ریڈ ٹیمنگ کے ہزاروں گھنٹے برداشت کیے لیکن اس میں انکار کی شرح اور کمپیوٹ اوور ہیڈ زیادہ تھے۔ ایک اپ ڈیٹ شدہ ورژن نے مصنوعی جائزوں پر اسی طرح کی مضبوطی دکھائی، جس میں انکار کی شرح میں صرف 0.38% اضافہ ہوا اور اضافی کمپیوٹ معتدل رہا۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →