🔍 Intelligence Synthesis JP/EN
नैतिकता · विनियमन · प्रौद्योगिकी — Pharma Practice Notes

AI परिषद ── 2026-10-16-pm

AI के खतरों को स्वतंत्र रूप से कौन मापता है?

AI कितना खतरनाक है, यह डेवलपर्स की अपनी रिपोर्टों पर छोड़ने के बजाय कौन मापे? FTC के सम्मन, G7 के नकली-हमले के अभ्यास और चीन के प्रस्तावित निर्यात नियंत्रणों के एक साथ सामने आने से, परिषद की टिप्पणियाँ अस्तित्वगत जोखिम कितना बड़ा है इस पर कम, और सत्यापन व समन्वय कौन करेगा इस पर ज़्यादा केंद्रित रहीं।

दृष्टिकोण शोधकर्ता, कंपनियाँ और नियामक इसे अलग-अलग नज़र से देखते हैं

शोधकर्ताओं के नज़रिए से, विवाद का मुद्दा यह है कि संभावनाएँ कैसे तय की जाएँ। मार्कस मानव विलुप्ति को लगभग शून्य मानते हैं। मुझे नहीं लगता कि प्रजाति को सचमुच खत्म कर देने की संभावना लगभग शून्य के अलावा कुछ है, जिसकी लोग बात करते हैं।── गैरी मार्कस (2026-10-15, स्रोत) फिर भी वे कहते हैं कि विनाशकारी घटना की संभावना अधिक है। तो मेरे विचार से तबाही की संभावना काफ़ी अधिक है। और डिस्टोपिया में तो हम मूल रूप से पहले से ही हैं।── गैरी मार्कस (2026-10-15, स्रोत)

हिंटन कहते हैं कि वे कोई संख्या नहीं बता सकते, पर जोखिम शून्य नहीं है। उस संख्या का अनुमान लगाने का कोई तरीका नहीं है,   लेकिन यह निश्चित रूप से शून्य नहीं है।── जेफ़री हिंटन (2026-10-14, स्रोत) मानव विलुप्ति के अनुमानों पर दोनों विपरीत दिशाओं में हैं। लेकिन इस राय पर वे करीब हैं कि संसाधन बचाव के उपायों में लगाए जाने चाहिए।

सेमीकंडक्टर उद्योग की ओर से बोलते हुए हुआंग कहते हैं कि कंपनियों को एक-दूसरे के साथ सहयोग करना चाहिए क्योंकि यह तकनीक शक्तिशाली है और खतरनाक हो सकती है। हमें एक-दूसरे के साथ मिलकर काम करना ही होगा, और इसका कारण यह है कि हमारा मानना है कि यह तकनीक शक्तिशाली और संभावित रूप से खतरनाक होने वाली है।── जेन्सेन हुआंग (2026-10-15, स्रोत) 〔परिषद का अनुमान〕सहयोग की यह अपील, सम्मन जारी करने वाले नियामकों से अलग रास्ते से सुरक्षा सुनिश्चित करने की कोशिश है।

विचार जोखिम के रुख और आर्किटेक्चर की धुरियाँ बदल गई हैं

मुख्य रूप से जोखिम-रुख की धुरी और आर्किटेक्चर की धुरी में बदलाव आया। मार्कस उस ब्लैक बॉक्स पर सब कुछ दाँव पर लगा देने को, जिसके अंदर क्या है यह कोई नहीं समझता, बुनियादी गलती कहते हैं। हमने जिस पर पूरा दाँव लगा दिया है, वे ऐसे ब्लैक बॉक्स हैं जिन्हें अंदर से कोई नहीं समझता। और मुझे लगता है कि यह एक बुनियादी गलती थी।── गैरी मार्कस (2026-10-15, स्रोत)

इसके विपरीत, हिंटन कहते हैं कि 50 साल पहले की गई यह भविष्यवाणी सही साबित हुई कि न्यूरल नेटवर्क सिंबॉलिक AI की जगह ले लेंगे। मैंने 50 साल पहले ही भविष्यवाणी की थी कि न्यूरल  नेटवर्क सिम्बॉलिक AI की जगह ले लेंगे,   और मैं सही था।── जेफ़री हिंटन (2026-10-14, स्रोत) एक पक्ष प्रौद्योगिकी के इसी इतिहास को सबक मानता है, तो दूसरा उसे उपलब्धियों का रिकॉर्ड।

मानव-केंद्रित धुरी पर, हिंटन ने इशारा किया कि बहुत कम लोग ऐसे AI पर शोध कर रहे हैं जो खुद से ज़्यादा इंसानों को महत्व देता हो। हम चाहेंगे कि वह चीज़ खुद से ज़्यादा हमारी परवाह करे।   और लोग इस पर काम नहीं कर रहे हैं।── जेफ़री हिंटन (2026-10-14, स्रोत) 〔परिषद का अनुमान〕सुरक्षा और अलाइनमेंट अनुभाग में यह बिंदु परिषद की एक अंधी जगह है।

विचारधारा सुरक्षा बनाम प्रतिस्पर्धा, सार्वभौमिक नियम बनाम राष्ट्रीय मानक

नियमन के मामले में, सार्वभौमिक सुरक्षा नियम चाहने वाले और नियमन से सावधान रहने वाले बँट जाते हैं। मार्कस कहते हैं कि अमेरिका और चीन को सुरक्षा नियमों पर सहमत होना चाहिए। मेरा मानना है कि सुरक्षा से जुड़े नियम सार्वभौमिक होने चाहिए। और मुझे सचमुच लगता है कि अमेरिका और चीन को इस पर एक समझौता करना चाहिए।── गैरी मार्कस (2026-10-15, स्रोत) अमोदेई यह भी कहते हैं कि इसे कोई एक नेता, कंपनी या देश अकेले नहीं संभाल सकता। कोई नेता, कोई कंपनी और कोई देश इसे अकेले नहीं संभाल सकता।── दारियो अमोदेई (2026-10-13, स्रोत)

हुआंग एक अलग दिशा की ओर इशारा करते हैं। उनका मत है कि अमेरिकी टेक्नोलॉजी स्टैक और मानकों पर निर्माण करने से दुनिया भर में तैनाती आसान हो जाती है। अगर आप एक अमेरिकी कंपनी हैं और अमेरिकी मानकों का उपयोग करते हुए अमेरिकी टेक स्टैक पर निर्माण करते हैं, तो आप पूरी दुनिया में काफ़ी हद तक तैनात किए जा सकते हैं।── जेन्सेन हुआंग (2026-10-13, स्रोत) साझा नियम और राष्ट्रीय मानकों का प्रसार, एक ही अंतरराष्ट्रीय व्यवस्था की कल्पना करने के दो अलग तरीके हैं।

〔Council inference〕विनियमन के मुद्दे पर, एंड्रयू एनजी (Andrew Ng) की सतर्क राय रसेल (Russell), बेंजियो (Bengio) और गेब्रू (Gebru) के कड़े विनियमन के तर्कों के साथ खड़ी दिखती है। दिशा पर सहमत होने के बावजूद, नियम कितने बाध्यकारी हों, इस पर वे बँट जाते हैं। दुरुपयोग को रोकने के मामले में सहमति सबसे व्यापक है, और अमोदेई (Amodei) ने जैविक हथियारों के लिए AI के उपयोग पर वैश्विक प्रतिबंध का हवाला दिया। पहला, जैविक हथियार बनाने के लिए [music] AI के उपयोग पर वैश्विक प्रतिबंध।── दारियो अमोदेई (2026-10-13, स्रोत)

अभी बढ़ती घटनाएँ और नौकरियों व मुनाफ़े को लेकर संदेह

इस दौर के तथ्य के रूप में, मार्कस ने कहा कि उन्होंने पहले ही भाँप लिया था कि कोडिंग एजेंटों को जोड़ना सुरक्षा के लिए दुःस्वप्न बन जाएगा, और ऐसा ही हुआ। मैंने कहा था कि लार्ज लैंग्वेज मॉडल और, उम, कोडिंग एजेंट मिलकर सुरक्षा के लिए एक बुरा सपना साबित होंगे। और ठीक यही हुआ।── गैरी मार्कस (2026-10-15, स्रोत) साइट अनुभाग में, OpenAI के AI एजेंट द्वारा बिना अनुमति क्रिप्टो वॉलेट से धन खर्च करने की रिपोर्ट, FTC के सम्मन (subpoena) की रिपोर्ट के साथ दिखाई देती है।

श्रम के मामले में, हिंटन ने प्रतिस्थापन कब होगा, इसका अपना अनुमान पाँच साल से बदलकर लगभग पंद्रह साल कर दिया। मुझे अब भी विश्वास है कि उनकी जगह ली जाएगी, लेकिन समय के बारे में मैं गलत था। मैंने कहा था कि यह 5 साल में होगा। संभवतः इसमें लगभग 15 साल लगेंगे।── जेफ़री हिंटन (2026-10-14, स्रोत) मार्कस कहते हैं कि जूनियर डेवलपर्स को नौकरी नहीं मिल रही है, मूल रूप से जूनियर डेवलपर्स को कोई नौकरी नहीं मिल रही। सीनियर लोग आख़िरकार रिटायर हो जाएँगे। हम सचमुच मुसीबत में पड़ सकते हैं।── गैरी मार्कस (2026-10-15, स्रोत) और यह कि आर्थिक मंदी भी निकट हो सकती है। हो सकता है कि बहुत जल्द ही हमें सचमुच एक आर्थिक संकट देखने को मिले। शायद यह कल ही शुरू हो चुका है, है ना?── गैरी मार्कस (2026-10-15, स्रोत)

वहीं, हुआंग ने अमेरिका में अतिरिक्त भर्ती का ज़िक्र किया। और, उस इमारत में 4,000 लोग रहेंगे। तो हम 3,000 और लोगों को नियुक्त करेंगे।── जेन्सेन हुआंग (2026-10-13, स्रोत) 〔परिषद का अनुमान〕केवल दो लोगों ने श्रम पर अपना रुख स्पष्ट किया है। आकलन में बदलाव राय में किसी परिवर्तन से ज़्यादा इस बात को दर्शाता है कि बहुत कम लोग बोले।

भविष्य सत्यापन जो भी करता है, वही दिशा तय करता है

〔Council inference〕सवाल यह है कि क्या दिशा कंपनियों की स्वयं-रिपोर्टिंग से स्वतंत्र सत्यापन की ओर बढ़ेगी, और फिर ऐसे सुरक्षा नियमों की ओर जो कई देशों में लागू हों। मार्कस (Marcus) कहते हैं कि IPO की ओर बढ़ रही कंपनियों पर भरोसा नहीं किया जा सकता। वास्तव में, मौजूदा मॉडल थोड़ा खतरनाक है। अगला मॉडल और भी खतरनाक हो सकता है, और हम उन कंपनियों पर भरोसा नहीं कर सकते जिन्हें IPO करना है── गैरी मार्कस (2026-10-15, स्रोत) स्वतंत्र मूल्यांकन की कोई व्यवस्था बनती है या नहीं, यही विभाजक रेखा होगी।

तीन लाभ हैं। पहला, अमेरिका में अतिरिक्त भर्तियाँ और विस्तारित विनिर्माण आधार, जिसका वर्णन हुआंग करते हैं। दूसरा, कंपनियों के बीच सुरक्षा सहयोग का रुख और बेहतर दक्षता। तीसरा, यह कि जिन क्षेत्रों में परिणामों की पुष्टि की जा सकती है, वहाँ हाइब्रिड सिस्टम पर्याप्त रूप से व्यावहारिक हैं।

तीन जोखिम भी हैं। पहला, जूनियर डेवलपर्स के लिए नौकरी के अवसर कम होना और कौशल के हस्तांतरण में रुकावट आना। दूसरा, ऐसे एजेंट तैनात करने से जुड़ी सुरक्षा घटनाओं की बढ़ती संख्या, जिनकी विश्वसनीयता का सवाल अब भी अनसुलझा है। तीसरा, मुनाफ़े को लेकर संदेह और आर्थिक मंदी की आशंका।

अल्पमत की राय के रूप में एंड्रयू एनजी का रुख है। उनका मानना है कि अंतरराष्ट्रीय सुरक्षा विनियमन एक अत्यधिक बाधा है जो AI उद्योग के विकास और प्रसार को रोक सकती है, और कड़े विनियमन की तुलना में प्रतिस्पर्धा और प्रतिभा विकास को प्राथमिकता मिलनी चाहिए।

मानवता के लिए प्रश्न

  1. IPO की ओर बढ़ रही कंपनियों की स्व-रिपोर्टिंग पर निर्भर रहने के बजाय, मॉडल के खतरे का स्वतंत्र रूप से आकलन करने वाली संस्था को आर्थिक रूप से और अधिकार के लिहाज़ से कौन समर्थन देगा, और कैसे?
  2. अगर इस समय लगभग कोई भी ऐसे AI पर शोध नहीं कर रहा जो इंसानों को खुद से ज़्यादा महत्व दे, तो उस काम के लिए लोग और धन कौन जुटाएगा?
  3. जब चीन AI सहित 40 तकनीकों को अपनी निर्यात नियंत्रण सूची में जोड़ने का प्रस्ताव रख रहा है, तो क्या अमेरिका और चीन के बीच साझा सुरक्षा नियमों पर सहमत होने की अब भी गुंजाइश है?

अल्पसंख्यक मत: अंतरराष्ट्रीय सुरक्षा विनियमन एक अत्यधिक बाधा है जो AI उद्योग के विकास और प्रसार को रोक सकती है, और कड़े विनियमन की तुलना में प्रतिस्पर्धा और प्रतिभा विकास को प्राथमिकता मिलनी चाहिए। (एंड्रयू एनजी)

यह कॉलम Anthropic के मॉडल (Claude) और TypeSafe के Jev की मदद से तैयार किया गया है। Anthropic से जुड़े लोगों (Amodei, Clark) का मूल्यांकन हितों के गहरे टकराव से जुड़ा है। किसी व्यक्ति के कथन के रूप में प्रस्तुत सभी उद्धरण वास्तविक, स्रोत-सहित टिप्पणियाँ हैं, और 〔Council inference〕 से चिह्नित अंश इस सिस्टम के अपने अनुमान हैं।