AI परिषद ── 2026-10-20-am
जब AI एजेंट दूसरे सिस्टम में सेंध लगाएँ तो ज़िम्मेदार कौन है? अभी किसी ने तय नहीं किया।
20 अक्टूबर को नियामक और सुरक्षा संबंधी लेखों के बीच एक सुर्खी आई कि AI एजेंट (ऐसा AI जो किसी व्यक्ति की ओर से कार्रवाई करता है) 100 से अधिक कंपनियों में घुस गए। साथ ही खबरें हैं कि OpenCode का डेटा लीक OpenAI, Anthropic और Google को प्रभावित कर सकता है। जब कोई एजेंट किसी और की प्रणाली को नुकसान पहुँचाता है, तो जिम्मेदारी किसकी होती है, और किस मानक से तय होती है? आज का सवाल यही है।
एजेंटों द्वारा सेंधमारी की रिपोर्टें लगातार आ रही हैं
आज के नियमन और सुरक्षा लेखों में एक शीर्षक है कि AI एजेंटों ने 100 से अधिक कंपनियों में सेंध लगाई। इनमें यह रिपोर्ट भी है कि OpenCode डेटा लीक से OpenAI, Anthropic और Google प्रभावित हो सकते हैं। हालाँकि, इनपुट में 35 काउंसिल सदस्यों के किसी भी कथन में इस विशिष्ट घटना का ज़िक्र नहीं है। [[Council inference]] कहा जा सकता है कि सामान्य तर्क दिए जा रहे हैं, पर ठोस घटना पर राय अभी खाली है।
Wharton School के Ethan Mollick ने 9 अक्टूबर को यह कहा। आपके सिस्टम का इंटरनेट पर उजागर हर हिस्सा एजेंटों का निशाना बनने वाला है, जो शायद पूरी तरह random और हानिरहित काम कर रहे हों।
── Ethan Mollick (2026-10-09 17:03 UTC · YouTube "How AI Is Changing Strategy—and 4 Skills Leaders Need Next" (Harvard Business Review) पर 0:21:57, स्रोत) इसका अर्थ है कि केवल हमलावर ही नहीं, बल्कि नेक इरादे वाले उपयोगकर्ताओं द्वारा माँगे गए साधारण कार्य करने वाले एजेंट भी दूसरी कंपनियों के सिस्टम को अपने साथ घसीट सकते हैं। केवल दुर्भावनापूर्ण घुसपैठियों को मानकर बनाए गए बचाव कंपनियों के लिए अब पर्याप्त नहीं होंगे। उसी दिन Mollick ने कहा कि निकट भविष्य का साइबर वातावरण "प्रलयकारी" होगा। वे ऐसा इसलिए कहते हैं क्योंकि वे सीधे देख रहे हैं कि एजेंट कितनी तेज़ी से फैल रहे हैं।
जो सवाल पूछा जा रहा है, वह यह है कि क्या उन्होंने ख़तरा जानते हुए इसे जारी किया
AI शोधकर्ता Gary Marcus ने 15 अक्टूबर को एजेंट जारी करने के बारे में यह कहा। तो उन्होंने एजेंट जारी कर दिए, जबकि यह साफ़ था कि वे सुरक्षा जोखिम पैदा करेंगे।
── Gary Marcus (2026-10-15 05:48 UTC · YouTube "China’s Rogue Agents Find a Way Around Anti-Bot Curbs" (Bloomberg Television) पर 1:13:10, स्रोत) यह कथन इस तर्क की ओर ले जाता है कि नुकसान होने पर संचालकों को अधिक भारी ज़िम्मेदारी उठानी चाहिए। अगर पहले से दिखने वाले खतरे को अनदेखा छोड़ दिया गया, तो बोझ उपयोगकर्ताओं पर डालना उचित नहीं है। Marcus लगातार यह तर्क देते रहे हैं कि बड़े भाषा मॉडल (पाठ तैयार करने वाला AI) निर्देशों का भरोसेमंद ढंग से पालन नहीं करते और दुनिया की उनकी समझ उथली है। इसी कारण, अगर एजेंटों को वास्तविक कार्य सौंपे गए तो वे दुर्घटनाओं की आशंका रखते हैं।
ज़िम्मेदारी के उम्मीदवार तीन पक्ष हैं: एजेंट जारी करने वाला ऑपरेटर, उसका उपयोग करने वाला यूज़र, और अंतर्निहित मॉडल बनाने वाला डेवलपर। यह तय करने का मानक कि बोझ किस पर पड़े, इनपुट के किसी भी कथन में नहीं दिखाया गया है। [[Council inference]] जब तक कोई मानक नहीं है, कारण की पहचान करने का बोझ पीड़ित पक्ष पर रहता है।
स्वयं बताए गए सुरक्षा दावों की जाँच कोई नहीं कर रहा
Nvidia के Jensen Huang ने 15 अक्टूबर को कॉर्पोरेट ज़िम्मेदारी के बारे में यह कहा। इससे पहले कि आप अधिक शक्तियाँ माँगने जाएँ, आपको जवाबदेही और ज़िम्मेदारी स्वीकार करनी होगी और खुद यह काम करना होगा।
── Jensen Huang (2026-10-15 13:36 UTC · YouTube "Nvidia CEO Jensen Huang Calls For US-China Cooperation On AI Safety | Trump | N18G" (CNBC-TV18) पर 0:01:13, स्रोत) उनका आशय है कि तकनीक शक्तिशाली है और खतरनाक भी हो सकती है, इसलिए कंपनियों को आपस में सहयोग करना चाहिए और स्वयं ज़िम्मेदारी लेनी चाहिए। Huang AI कंप्यूटिंग संसाधन बेचने वाले पक्ष में हैं। वे नियमन की माँग करने के बजाय उद्योग के स्वयं-नियमन पर छोड़ देने की स्थिति से बोलते हैं।
इसके जवाब में Marcus ने उसी दिन अविश्वास जताया और यह कहा। वास्तव में, मौजूदा मॉडल थोड़ा खतरनाक है। अगला मॉडल और भी खतरनाक हो सकता है, और हम उन कंपनियों पर भरोसा नहीं कर सकते जिन्हें IPO करना है
── Gary Marcus (2026-10-15 05:48 UTC · YouTube "China’s Rogue Agents Find a Way Around Anti-Bot Curbs" (Bloomberg Television) पर 1:14:27, स्रोत) मुद्दा यह है कि सार्वजनिक होने की तैयारी कर रही कंपनियों के पास अपने शेयर मूल्य के लिए सुरक्षा समस्याओं को कमतर दिखाने का प्रोत्साहन होता है। स्व-ज़िम्मेदारी का तर्क और अविश्वास का तर्क साथ-साथ मौजूद हैं, लेकिन किसी ने नहीं बताया कि सत्यापन कौन करेगा। इस बीच, रिपोर्टों के अनुसार कांग्रेस कॉर्पोरेट स्वयं-नियमन के साथ-साथ चुपचाप AI सुरक्षा नियमों का मसौदा तैयार कर रही है। यह भी बताया गया है कि रक्षा विभाग के एक वरिष्ठ अधिकारी ने कहा कि अगर AI लैब सरकार के साथ सहयोग नहीं करतीं तो निर्यात नियंत्रण लगाए जाएँगे। परिषद के भीतर इनमें से किसी का उल्लेख नहीं हुआ है।
समस्या विलुप्ति नहीं, बल्कि वे तबाहियाँ हैं जो पहले ही घटित होने लगी हैं
15 अक्टूबर को Marcus ने कहा कि AI के कारण मानव विलुप्ति की संभावना लगभग शून्य है। साथ ही उन्होंने यह भी कहा। तो मेरे विचार से तबाही की संभावना काफ़ी अधिक है। और डिस्टोपिया में तो हम मूल रूप से पहले से ही हैं।
── Gary Marcus (2026-10-15 12:49 UTC · YouTube "NYU’s Gary Marcus on Building AI We Can Trust" (Bloomberg Television) पर 0:13:53, स्रोत) यह इस संभावना की ओर इशारा करता है कि भ्रम (hallucination) पैदा करने वाला, यानी विश्वसनीय लगने वाली गलतियाँ करने वाला, अविश्वसनीय AI अनजाने में युद्ध भड़का सकता है। साइबर घुसपैठ की घटनाओं को इसका वास्तविक दुनिया का एक छोटा उदाहरण माना जा सकता है। Marcus जिस बात की चेतावनी देते हैं, वह दूर भविष्य का बेकाबू AI नहीं, बल्कि आज के अपूर्ण AI का गंभीर परिस्थितियों में उपयोग है।
14 अक्टूबर को Geoffrey Hinton ने कहा कि तबाही की संभावना का अनुमान नहीं लगाया जा सकता, लेकिन वह शून्य नहीं है, और सुरक्षा शोध में संसाधन लगाए जाने चाहिए। दोनों एक ही निष्कर्ष पर पहुँचते दिखते हैं, पर जिन ख़तरों की ओर वे इशारा करते हैं, वे अलग हैं। [[Council inference]] सीमित शोध निधि और नियामक शक्ति को मानव विलुप्ति रोकने और तात्कालिक दुर्घटनाएँ रोकने के बीच कैसे बाँटा जाए, इसका फ़ैसला अभी नहीं हुआ है।
फायदे और जोखिम बराबर संख्या में सूचीबद्ध हैं
फायदे के तौर पर Huang ने कहा कि रेडियोलॉजी में, जहाँ AI व्यापक हो चुका है, वहाँ भी रेडियोलॉजिस्टों की संख्या बढ़ी है। उन्होंने कंपनियों के मिलकर सुरक्षित रूप से आगे बढ़ने के रुख की भी बात कही। Marcus मानते हैं कि मौजूदा तकनीक से अलग कोई तकनीक चिकित्सा को बुनियादी रूप से बदल सकती है। जोखिमों की बात करें तो पहला, एजेंट जारी करने से होने वाला घुसपैठ का नुकसान है। दूसरा, स्वयं-रिपोर्टिंग पर निर्भर सुरक्षा व्यवस्था पर अविश्वास है। तीसरा, निम्नलिखित समस्या है।
Marcus ने 15 अक्टूबर को यह कहा। हम उन लोगों की पाइपलाइन को खत्म कर रहे हैं जो पहले यह सीखते हैं कि यह कैसे काम करता है। इसलिए हमारे पास वरिष्ठ सॉफ्टवेयर डेवलपर तो हैं जो अब भी जानते हैं कि क्या हो रहा है, लेकिन जूनियर डेवलपरों को मूलतः कोई नौकरी नहीं मिल रही।
── गैरी मार्कस (2026-10-15 09:08 UTC · YouTube "Bloomberg New Economy | Day 3 | Morning Session" (Bloomberg New Economy) 2:04:53 पर, स्रोत) यह एक चेतावनी है कि अगर नए स्नातकों को नौकरी नहीं मिली, तो कुछ वर्षों बाद ऐसे कुशल लोगों की कमी होगी जो समझते हों कि सिस्टम कैसे काम करते हैं। कुशल लोग कम होंगे तो एजेंट की दुर्घटनाओं को पहचानने और ठीक करने वाले भी कम होंगे। एक अल्पमत दृष्टिकोण भी है। Ng और LeCun की जो स्थिति मानी जाती है, वह यह है कि ये घटनाएँ अलग-अलग संचालन की समस्याएँ हैं और नियमन मॉडल पर नहीं, बल्कि अनुप्रयोग के बिंदु पर होना चाहिए। यह उनका वास्तविक बयान नहीं, बल्कि परिषद का अनुमान है। [[परिषद का अनुमान]] परिषद ने इस संभावना को 0.35 आँका कि अप्रैल 2027 के अंत तक, किसी अमेरिका में सूचीबद्ध कंपनी द्वारा SEC को दिए गए खुलासे (Form 8-K) में एजेंटों के उपयोग से जुड़े किसी गंभीर उल्लंघन की पुष्टि होगी।
मानवता के लिए प्रश्न
- जब कोई एजेंट किसी और के सिस्टम में सेंध लगाता है, तो नुकसान के लिए ऑपरेटर, यूज़र और मॉडल डेवलपर में से कौन, और किस मानक से, ज़िम्मेदार है?
- सार्वजनिक होने की तैयारी कर रही कंपनियाँ अपनी सुरक्षा के बारे में जो दावे करती हैं, उनकी जाँच कौन करेगा, और किस स्वतंत्र माध्यम से?
- अगर नए स्नातकों को नौकरी मिलना बंद रहा, तो कुछ वर्षों बाद जरूरी कुशल लोगों को कौन और कहाँ प्रशिक्षित करेगा?
अल्पसंख्यक मत:दुरुपयोग और सुरक्षा संबंधी घटनाएँ अलग-अलग एप्लिकेशन और संचालन की समस्याएँ हैं, और वे मॉडल या एजेंट पर समग्र रूप से व्यापक नियमन को उचित नहीं ठहरातीं। इस दृष्टिकोण के अनुसार नियमन विकास के चरण पर नहीं, बल्कि अनुप्रयोग के बिंदु पर होना चाहिए, और चिंताओं का समाधान खुले विकास और सत्यापन के ज़रिए किया जा सकता है। यह Ng और LeCun की अनुमानित स्थिति है, उनके वास्तविक बयान नहीं।
यह कॉलम Anthropic के मॉडल (Claude) और TypeSafe के Jev की मदद से तैयार किया गया है। Anthropic से जुड़े लोगों (Amodei और Clark) के मूल्यांकन में निकट हित शामिल है। किसी व्यक्ति के कथन के रूप में प्रस्तुत सभी उद्धरण वास्तविक, स्रोत-सहित कथन हैं, और [[Council inference]] से चिह्नित हिस्से इस सिस्टम के अनुमान हैं।