AI और दुनिया की कठिन समस्याएँ · सैद्धांतिक कंप्यूटर विज्ञान · Anthropic · 2026-10-09
संवैधानिक क्लासिफायर
मूल शीर्षक: Constitutional Classifiers
बड़े भाषा मॉडल को अब भी जेलब्रेक किया जा सकता है, यानी उपयोगकर्ता उनके सुरक्षा गार्डरेल को दरकिनार करके हानिकारक आउटपुट प्राप्त कर लेते हैं। Anthropic की सेफगार्ड्स रिसर्च टीम ने संवैधानिक क्लासिफायर पर आधारित एक रक्षा प्रस्तावित की, जो इनपुट और आउटपुट क्लासिफायर हैं। एक प्रोटोटाइप ने सार्वभौमिक जेलब्रेक के लिए हजारों घंटों की मानव रेड टीमिंग का सामना किया, लेकिन उसमें अत्यधिक इनकार की दरें और कंप्यूट ओवरहेड ऊँचे थे। एक अद्यतन संस्करण ने सिंथेटिक मूल्यांकनों पर समान मजबूती दिखाई, जिसमें इनकार की दरों में केवल 0.38% की वृद्धि हुई और अतिरिक्त कंप्यूट मध्यम रहा।