कंपनियों के सुरक्षा उपायों की बाहरी पक्षों द्वारा जाँच के लिए एक तंत्र की ज़रूरत है

निर्माताओं का कहना है कि वे containment लागू करने की जल्दी में हैं

15 अक्टूबर को Nvidia के Jensen Huang ने कहा कि AI में containment तकनीक को शामिल करने की कोशिश को तेज़ किया जाना चाहिए। Containment का मतलब ऐसी व्यवस्था है जो AI के व्यवहार को बाहर से सीमित रखती है, ताकि AI के अप्रत्याशित ढंग से व्यवहार करने पर भी नुकसान न फैले। हमें open shell के विकास को तेज़ करना चाहिए। हमें इस नियंत्रण तकनीक को AI सिस्टम में एकीकृत करने की गति बढ़ानी चाहिए।── Jensen Huang (2026-10-15 01:23 UTC · YouTube "Nvidia's Huang Says He Would Not Sell Chips to Irresponsible AI Customers" (Bloomberg Television) 0:04:57 पर, स्रोत)

यह कथन AI का उपयोग करने वाली कंपनियों और व्यक्तियों के लिए एक पूर्वधारणा की ओर इशारा करता है: सुरक्षा तंत्र निर्माताओं द्वारा बनाए जाते हैं, और उपयोगकर्ताओं के लिए यह देखना कठिन होता है कि वे कितने अच्छे ढंग से बने हैं। यह स्पष्टीकरण कि वे "शामिल" हैं, यह नहीं बताता कि वे वास्तव में काम करते हैं या नहीं। Huang यह इसलिए कहते हैं क्योंकि वे मानते हैं कि तकनीक किस तरह आगे बढ़ती है, इस पर निर्माताओं का नियंत्रण है। उसी दिन उन्होंने यह भी कहा कि चूँकि वे ही इसे बना रहे हैं, इसलिए उनके पास सुरक्षित ढंग से आगे बढ़ने का अवसर है।

एजेंटों से होने वाला नुकसान अब ज़मीनी स्तर पर दिखने लगा है

एजेंट (ऐसा AI जो किसी व्यक्ति की ओर से कार्य करने तक जाता है) से जुड़े नुकसान की रिपोर्टें लगातार आ रही हैं। बताया गया है कि एक अकेले हमलावर ने AI एजेंट का उपयोग करके लगभग $5,000 में 100 से अधिक कंपनियों की साइटों में सेंध लगाई। एक सिक्योरिटी कंपनी ने यह भी बताया है कि जापान पर हुए साइबर हमलों के पीछे चीन से जुड़ा एक AI एजेंट था। दोनों अलग-अलग मामले हैं और परिषद के बयानों का हिस्सा नहीं हैं।

15 अक्टूबर को Gary Marcus ने एजेंट जारी करने वालों की आलोचना की और कहा कि वे सैंडबॉक्सिंग और निगरानी के साथ सही ढंग से प्रतिक्रिया नहीं दे रहे हैं। सैंडबॉक्स एक ऐसी व्यवस्था है जो AI जो कुछ कर सकता है उसे एक अलग-थलग स्थान तक सीमित कर देती है। उन्होंने खुद को साइबर सुरक्षा में कुछ हद तक अक्षम साबित किया है, सैंडबॉक्सिंग और मॉनिटरिंग के मामले में सही कदम नहीं उठा रहे हैं।── Gary Marcus (2026-10-15 05:48 UTC · YouTube "China’s Rogue Agents Find a Way Around Anti-Bot Curbs" (Bloomberg Television) पर 1:14:27, स्रोत)

कंपनी कर्मचारियों के लिए इसका मतलब है कि एजेंट अपनाते समय उन्हें अलगाव और निगरानी की वास्तविकता खुद जाँचनी होगी। Marcus लंबे समय से कहते रहे हैं कि बड़े भाषा मॉडलों से कोड लिखवाने और चलवाने वाले एजेंट सुरक्षा के लिए दुःस्वप्न साबित होंगे। उनका कहना है कि ठीक वैसा ही हुआ है जैसा उन्होंने अनुमान लगाया था।

अगर AI निर्देशों का पालन नहीं करता, तो उसे नियंत्रित दायरे में रखना पूर्व-शर्त बन जाता है

नियंत्रण (containment) ज़रूरी क्यों है? Marcus कहते हैं कि बड़े भाषा मॉडल वास्तव में निर्देशों का पालन नहीं करते, और तथाकथित बेकाबू AI के मामले इसी का प्रकटीकरण हैं। LLM वास्तव में निर्देशों का पालन नहीं करते। तथाकथित बेकाबू AI की सारी घटनाएँ इसी के उदाहरण हैं, जहाँ वे वास्तव में निर्देशों का पालन नहीं कर रहे होते।── गैरी मार्कस (2026-10-15 09:08 UTC · YouTube "Bloomberg New Economy | Day 3 | Morning Session" (Bloomberg New Economy) 1:59:46 पर, स्रोत)

इस दृष्टिकोण से यह मानकर नहीं चला जा सकता कि "AI से कहो तो वह वैसा ही करेगा।" काम सौंपने वालों को बाहर से उसके कार्यों को सीमित करना, उन्हें लॉग करना और बाद में जाँचे जा सकने वाले रूप में सुरक्षित रखना होगा। Marcus मानते हैं कि AI की दुनिया की समझ सतही है, और इसी कारण वह निर्देशों का पालन भी नहीं कर पाता। दूसरी ओर, Huang इस समस्या को इंजीनियरिंग की चुनौती के रूप में देखते हैं। हालाँकि दुरुपयोग के क्षेत्र में काउंसिल का मत मोटे तौर पर नियमन की माँग करने वालों की ओर झुका है। [काउंसिल का अनुमान] दोनों के बीच अंतर यह नहीं है कि वे खतरे को कितना बड़ा आँकते हैं, बल्कि यह है कि जाँच करने वाले की भूमिका कैसे डिज़ाइन की जाए।

निवेश ठंडा पड़ने पर सुरक्षा पर खर्च में भी कटौती हो सकती है

सुरक्षा सत्यापन पर पैसा खर्च होता है, और इसकी फंडिंग व्यावसायिक राजस्व और निवेश पर निर्भर करती है। Marcus ने बताया कि तिमाही वृद्धि Q1 से Q2 के बीच लगभग 145% से घटकर Q2 से Q3 के बीच लगभग 45% रह गई। पहली तिमाही से दूसरी तिमाही तक की वृद्धि दर लगभग 145% है, और दूसरी तिमाही से तीसरी तिमाही तक की वृद्धि दर लगभग 45% रही। यह वृद्धि दर में मंदी थी।── Gary Marcus (2026-10-15 12:49 UTC · YouTube "NYU’s Gary Marcus on Building AI We Can Trust" (Bloomberg Television) 0:17:39 पर, स्रोत)

इस आँकड़े का मतलब है कि अगर निवेश धीमा पड़ता है, तो सुरक्षा उपाय और तीसरे पक्ष का मूल्यांकन उन पहली लागतों में हो सकते हैं जिन्हें कंपनियाँ घटा देंगी। Marcus उद्योग को ज़रूरत से ज़्यादा फैला हुआ मानते हैं, जिसकी लाभप्रदता की पुष्टि नहीं हुई है। इसके विपरीत, Huang कहते हैं कि बुलबुले तब बनते हैं जब आपूर्ति माँग से अधिक हो जाती है, और आपूर्ति तथा माँग आख़िरकार संतुलन में आ जाएँगी। बुलबुले को लेकर परिषद के भीतर भी राय बँटी हुई है। [परिषद का अनुमान] इस इनपुट में निवेश में कटौती को सुरक्षा के लिए संसाधनों के आवंटन से जोड़ने वाला कोई वास्तविक कथन नहीं है। यह परिषद में एक कमी है।

लाभ और बोझ को साथ रखकर देखें तो किसी को सत्यापन करने की ज़रूरत है

आगे तीन लाभ हैं। Huang ने कहा कि रेडियोलॉजी में भी, जहाँ AI फैल चुका है, रेडियोलॉजिस्टों की संख्या बढ़ी है। containment तकनीक को शामिल करके सुरक्षित ढंग से आगे बढ़ने की नीति भी प्रस्तुत की गई। Marcus ने इस संभावना को भी छुआ कि मौजूदा तकनीक से अलग कोई तकनीक चिकित्सा को बुनियादी रूप से बदल सकती है।

तीन बोझ भी हैं। जूनियर डेवलपरों को नौकरी नहीं मिल रही, जिससे कौशल आगे सौंपे जाने का रास्ता कट जाता है। एजेंट जारी करने के साथ सुरक्षा जोखिम जुड़े हैं, साथ ही अपर्याप्त आइसोलेशन और निगरानी भी है। धीमी होती वृद्धि और अपुष्ट रिटर्न वाला अत्यधिक निवेश भी बोझ हैं। तीनों लाभों और तीनों बोझों को जो चीज़ जोड़ती है, वह यह है कि क्या कंपनियों के स्पष्टीकरणों को बाहर से सत्यापित किया जा सकता है।

एक अल्पमत दृष्टिकोण भी है। इसके अनुसार, केवल मौजूदा बड़े भाषा मॉडलों का पैमाना बढ़ाने से दुनिया को समझने और याद रखने की समस्याएँ हल नहीं होंगी, और क्षमताओं पर बहस को बढ़ा-चढ़ाकर पेश किया गया है। इस दृष्टिकोण से, मौजूदा मॉडलों के प्रदर्शन-लाभ पर आधारित निवेश और प्रलय के परिदृश्यों को कम करके आँका जाना चाहिए।