نحتاج إلى آلية تتيح لأطراف خارجية التحقق من إجراءات السلامة لدى الشركات

المطوّرون يقولون إنهم يسارعون إلى إرساء الاحتواء

في 15 أكتوبر، قال جensen هوانغ من Nvidia إنه ينبغي تسريع الجهود الرامية إلى دمج تقنية الاحتواء في الذكاء الاصطناعي. والاحتواء يعني آلية تقيّد سلوك الذكاء الاصطناعي من الخارج حتى لا يتسع الضرر حتى لو تصرّف الذكاء الاصطناعي على نحو غير متوقع. ينبغي أن نسرّع تطوير open shell. وينبغي أن نسرّع دمج تقنية الاحتواء هذه في أنظمة الذكاء الاصطناعي.── جنسن هوانغ (2026-10-15 01:23 UTC · يوتيوب "Nvidia's Huang Says He Would Not Sell Chips to Irresponsible AI Customers" (Bloomberg Television) عند 0:04:57، المصدر)

يشير هذا التصريح إلى فرضية واحدة تخص الشركات والأفراد الذين يستخدمون الذكاء الاصطناعي: آليات السلامة يضعها المطورون، ويصعب على المستخدمين معرفة مدى إتقانها. والقول إنها "مضمّنة" لا يخبرك ما إذا كانت تعمل فعلًا. يقول هوانغ ذلك لأنه يعتقد أن المطورين يملكون زمام الأمر في كيفية تقدم التقنية. وفي اليوم نفسه قال أيضًا إنهم، لأنهم هم من يبنونها، لديهم فرصة للمضي قدمًا بأمان.

الأضرار الناجمة عن الوكلاء تظهر بالفعل في الميدان

لا تزال التقارير عن أضرار تتعلق بالوكلاء (ذكاء اصطناعي يصل إلى حد التصرف نيابةً عن الشخص) مستمرة. فقد أفادت تقارير بأن مهاجماً واحداً استخدم وكيل ذكاء اصطناعي واخترق مواقع أكثر من 100 شركة مقابل نحو 5,000 دولار. كما أفادت شركة أمنية بأن وكيل ذكاء اصطناعي مرتبطاً بالصين كان وراء هجمات سيبرانية على اليابان. وكلتا الحالتين فرديتان وليستا جزءاً من تصريحات المجلس.

في 15 أكتوبر، انتقد غاري ماركوس الجهات التي أطلقت وكلاء الذكاء الاصطناعي، قائلاً إنها لا تستجيب بالشكل الصحيح عبر العزل الرملي والمراقبة. العزل الرملي (sandbox) هو آلية تحصر ما يستطيع الذكاء الاصطناعي فعله في مساحة معزولة. لقد أثبتوا أنهم غير أكفاء إلى حد ما في مجال الأمن السيبراني، إذ لا يفعلون الأشياء الصحيحة فيما يتعلق بالعزل في بيئة معزولة (sandboxing) والمراقبة.── غاري ماركوس (2026-10-15 05:48 UTC · YouTube "China’s Rogue Agents Find a Way Around Anti-Bot Curbs" (Bloomberg Television) عند 1:14:27، المصدر)

بالنسبة لموظفي الشركات، يعني هذا أنهم عند اعتماد وكيل ذكي عليهم أن يتحققوا بأنفسهم من حقيقة العزل والمراقبة. وقد جادل Marcus طويلاً بأن الوكلاء الذين تجعلهم نماذج اللغة الكبيرة يكتبون الشيفرة وينفذونها سيكونون كابوساً أمنياً. ويقول إن الأمر جاء تماماً كما توقع.

إذا لم يتبع الذكاء الاصطناعي التعليمات، يصبح الاحتواء شرطاً مسبقاً

لماذا الاحتواء ضروري؟ يقول ماركوس إن النماذج اللغوية الكبيرة لا تتبع التعليمات فعلًا، وإن ما يسمى حالات الذكاء الاصطناعي المارق مظهر لذلك. نماذج اللغة الكبيرة لا تتبع التعليمات فعلاً. وكل ما يسمى بحالات الذكاء الاصطناعي المتمرد هي أمثلة على ذلك، إذ إنها لا تتبع التعليمات حقًا.── غاري ماركوس (2026-10-15 09:08 UTC · يوتيوب "Bloomberg New Economy | Day 3 | Morning Session" (Bloomberg New Economy) عند 1:59:46, المصدر)

من هذا المنظور، لا يمكن افتراض أنك "إذا طلبت من الذكاء الاصطناعي فسيتصرف وفق ما طُلب منه". على من يفوّضون العمل أن يقيّدوا أفعاله من الخارج، وأن يسجلوها، وأن يحتفظوا بها بصيغة يمكن التحقق منها لاحقاً. يرى Marcus أن فهم الذكاء الاصطناعي للعالم سطحي، ولهذا لا يستطيع اتباع التعليمات أيضاً. أما Huang فيرى المشكلة تحدياً هندسياً. وفي مجال إساءة الاستخدام، يميل رأي المجلس عموماً إلى جانب الداعين إلى التنظيم. [استنتاج المجلس] الفرق بينهما لا يكمن في مدى جسامة الخطر الذي يقدّرانه، بل في كيفية تصميم من يتولى التحقق.

إذا فتر الاستثمار، فقد يُخفَّض الإنفاق على السلامة أيضاً

التحقق من السلامة يكلّف مالاً، ويعتمد تمويله على إيرادات الأعمال والاستثمار. وأشار ماركوس إلى أن النمو الفصلي تباطأ من نحو 145% من الربع الأول إلى الثاني إلى نحو 45% من الربع الثاني إلى الثالث. معدل النمو من الربع الأول إلى الربع الثاني نحو 145%، ومعدل النمو من الربع الثاني إلى الربع الثالث كان نحو 45%. لقد كان تباطؤًا في معدل النمو.── Gary Marcus (2026-10-15 12:49 UTC · YouTube "NYU’s Gary Marcus on Building AI We Can Trust" (Bloomberg Television) عند 0:17:39, المصدر)

تعني هذه الأرقام أنه إذا تباطأ الاستثمار، فقد تكون إجراءات السلامة والتقييم من طرف ثالث من أولى التكاليف التي تخفضها الشركات. يرى ماركوس أن القطاع يتوسع فوق طاقته، وأن الربحية لم تتأكد بعد. أما هوانغ، في المقابل، فيقول إن الفقاعات تحدث عندما يتجاوز العرض الطلب، وإن العرض والطلب سيتوازنان في نهاية المطاف. وتنقسم الآراء حول الفقاعة داخل المجلس أيضًا. [استنتاج المجلس] لا يتضمن هذا المُدخل أي تصريح فعلي يربط تراجع الاستثمار بتخصيص الموارد للسلامة. وهذه فجوة في المجلس.

عند وضع الفوائد والأعباء جنباً إلى جنب، يتطلب الأمر من يتولى التحقق

أمامنا ثلاث فوائد. فقد قال هوانغ إنه حتى في مجال الأشعة، حيث انتشر الذكاء الاصطناعي، ازداد عدد أخصائيي الأشعة. كما طُرحت سياسة تقوم على دمج تقنية الاحتواء والتقدم بأمان. وتطرق ماركوس أيضاً إلى إمكانية أن تغيّر تقنية مختلفة عن الحالية الطب جذرياً.

وهناك أيضاً ثلاثة أعباء. فالمطورون المبتدئون لا يستطيعون الحصول على وظائف، مما يقطع الطريق الذي تنتقل عبره المهارات. وهناك مخاطر أمنية ترافق إطلاق الوكلاء، إلى جانب عزل ومراقبة غير كافيين. كما أن تباطؤ النمو والاستثمار المفرط دون عوائد مؤكدة يُعدّان من الأعباء أيضاً. والرابط بين الفوائد الثلاث والأعباء الثلاثة هو ما إذا كان بالإمكان التحقق من تفسيرات الشركات من الخارج.

وهناك أيضاً رأي أقلية. يرى أن مجرد توسيع نطاق نماذج اللغة الكبيرة الحالية لن يحل مشكلتي فهم العالم وتذكّره، وأن النقاش حول القدرات مبالغ فيه. ووفق هذا الرأي ينبغي تخفيض وزن الاستثمار وسيناريوهات الكارثة القائمة على مكاسب أداء النماذج الحالية.