مجلس الذكاء الاصطناعي ── 2026-10-20-am

من المسؤول عندما يخترق وكلاء الذكاء الاصطناعي أنظمة أخرى؟ لم يقرر أحد بعد.

ظهر عنوان يقول إن وكلاء الذكاء الاصطناعي (ذكاء اصطناعي ينفّذ إجراءات نيابةً عن الشخص) اخترقوا أكثر من 100 شركة ضمن مقالات التنظيم والسلامة في 20 أكتوبر. وهناك أيضًا تقارير تفيد بأن تسريب بيانات OpenCode قد يؤثر على OpenAI وAnthropic وGoogle. عندما يُلحق وكيل ضررًا بنظام شخص آخر، من يتحمل المسؤولية، وبأي معيار؟ هذا هو سؤال اليوم.

تتواصل التقارير عن عمليات اختراق ينفذها وكلاء الذكاء الاصطناعي

تتضمن مقالات التنظيم والسلامة اليوم عنوانًا يفيد بأن وكلاء الذكاء الاصطناعي اخترقوا أكثر من 100 شركة. كما تتضمن تقارير بأن تسرب بيانات OpenCode قد يؤثر على OpenAI وAnthropic وGoogle. غير أن أيًّا من تصريحات أعضاء المجلس الخمسة والثلاثين الواردة في المدخلات لا يتناول هذه الحادثة بعينها. [[استنتاج المجلس]] يمكن القول إن هناك طروحات عامة، لكن الآراء حول الحادثة المحددة ما زالت غائبة.

قال Ethan Mollick من كلية Wharton ما يلي في 9 أكتوبر. كل جزء من نظامك مكشوف على الإنترنت سيكون هدفًا لوكلاء قد ينجزون مهامَّ حميدة عشوائية تمامًا.── إيثان موليك (2026-10-09 17:03 UTC · YouTube "How AI Is Changing Strategy—and 4 Skills Leaders Need Next" (Harvard Business Review) عند 0:21:57، المصدر)هذا يعني أنه ليس المهاجمون وحدهم، بل أيضًا الوكلاء الذين يؤدون مهام بسيطة يطلبها مستخدمون حسنو النية، يمكنهم جرّ أنظمة شركات أخرى إلى المشكلة. ولن تكون الدفاعات التي تفترض وجود متسللين خبيثين فقط كافية للشركات بعد الآن. وفي اليوم نفسه، قال Mollick إن البيئة السيبرانية في المستقبل القريب ستكون "apocalyptic" (كارثية). ويقول ذلك لأنه يتابع مباشرة مدى سرعة انتشار الوكلاء.

السؤال المطروح هو ما إذا كانوا قد أطلقوه وهم يعلمون بالخطر

قال باحث الذكاء الاصطناعي Gary Marcus ما يلي عن إطلاق الوكلاء في 15 أكتوبر. لقد أطلقوا الوكلاء إذن، رغم أنه كان من الواضح أنهم سيشكلون خطرًا أمنيًا.── غاري ماركوس (2026-10-15 05:48 UTC · YouTube "China’s Rogue Agents Find a Way Around Anti-Bot Curbs" (Bloomberg Television) عند 1:13:10، المصدر)يقود هذا التصريح إلى الحجة القائلة بأن على المشغّلين تحمّل مسؤولية أثقل عند وقوع الضرر. فإذا تُرك خطر متوقع دون معالجة، فلا معنى لوضع العبء على المستخدمين. وقد دأب Marcus على القول بأن النماذج اللغوية الكبيرة (الذكاء الاصطناعي الذي يولّد النصوص) لا تتبع التعليمات بشكل موثوق ولديها فهم سطحي فقط للعالم. ولهذا السبب يتوقع حدوث حوادث إذا أُوكلت إلى الوكلاء عمليات حقيقية.

الجهات المرشحة لتحمل المسؤولية ثلاث: المشغّل الذي أطلق الوكيل، والمستخدم الذي استخدمه، والمطوّر الذي بنى النموذج الأساسي. أما المعيار الذي يُحدَّد به من يتحملها فلا يظهر في أي من التصريحات الواردة في المدخلات. [[استنتاج المجلس]] وما دام لا يوجد معيار، فإن الطرف المتضرر هو من يتحمل عبء تحديد السبب.

لا أحد يتحقق من ادعاءات السلامة التي تقدمها الشركات عن نفسها

قال جنسن هوانغ من Nvidia ما يلي عن مسؤولية الشركات في 15 أكتوبر. قبل أن تسعى إلى صلاحيات أكبر، عليك أن تتحمل المساءلة والمسؤولية وتقوم بذلك بنفسك.── جensen هوانغ (2026-10-15 13:36 UTC · YouTube "Nvidia CEO Jensen Huang Calls For US-China Cooperation On AI Safety | Trump | N18G" (CNBC-TV18) عند 0:01:13، المصدر)يقصد أنه لأن التقنية قوية ويمكن أن تكون خطيرة، ينبغي للشركات أن تتعاون فيما بينها وأن تتحمل المسؤولية بنفسها. Huang في صف من يبيع موارد الحوسبة الخاصة بالذكاء الاصطناعي. وهو يتحدث من موقع يترك الأمور للتنظيم الذاتي للقطاع بدلاً من المطالبة بالتنظيم.

ردًّا على ذلك، أعرب Marcus في اليوم نفسه عن عدم ثقته، قائلًا ما يلي. في الواقع، النموذج الحالي خطير بعض الشيء. وقد يكون النموذج التالي أكثر خطورة، ولا يمكننا الوثوق بالشركات التي تحتاج إلى طرح أسهمها للاكتتاب العام── غاري ماركوس (2026-10-15 05:48 UTC · YouTube "China’s Rogue Agents Find a Way Around Anti-Bot Curbs" (Bloomberg Television) عند 1:14:27، المصدر)المقصود أن الشركات التي تستعد للإدراج في البورصة لديها دافع للتقليل من شأن مشكلات السلامة حفاظًا على سعر أسهمها. وتوجد حجة المسؤولية الذاتية وحجة عدم الثقة جنبًا إلى جنب، لكن لم يقل أحد من سيتولى التحقق. وفي الأثناء، تفيد تقارير بأن الكونغرس يعد بهدوء قواعد لسلامة الذكاء الاصطناعي إلى جانب التنظيم الذاتي للشركات. كما يُنقل أن مسؤولًا كبيرًا في وزارة الدفاع قال إن ضوابط التصدير ستُفرض إذا لم تتعاون مختبرات الذكاء الاصطناعي مع الحكومة. ولم يُذكر أي منهما داخل المجلس.

المشكلة ليست الانقراض بل الكوارث التي بدأت تحدث بالفعل

في 15 أكتوبر، قال ماركوس إن احتمال أن يتسبب الذكاء الاصطناعي في انقراض البشر يكاد يكون صفرًا. وفي الوقت نفسه، قال ما يلي. لذلك فإن احتمال وقوع كارثة، في رأيي، مرتفع جدًا. أما الديستوبيا، فأعتقد أننا نعيشها بالفعل تقريبًا.── غاري ماركوس (2026-10-15 12:49 UTC · YouTube "NYU’s Gary Marcus on Building AI We Can Trust" (Bloomberg Television) عند 0:13:53، المصدر)يشير هذا إلى احتمال أن يتسبب ذكاء اصطناعي غير موثوق يهلوس (يُنتج أخطاء تبدو معقولة) في اندلاع حرب عرضية. ويمكن قراءة حوادث الاختراق السيبراني على أنها مثال واقعي صغير على ذلك. وما يحذر منه Marcus ليس ذكاءً اصطناعيًا خارجًا عن السيطرة في المستقبل البعيد، بل استخدام الذكاء الاصطناعي الناقص الحالي في المواقف الحرجة.

في 14 أكتوبر، قال جيفري هينتون إن احتمال وقوع كارثة لا يمكن تقديره لكنه ليس صفرًا، وإنه ينبغي توجيه الموارد إلى أبحاث السلامة. يبدو أن الاثنين يصلان إلى الاستنتاج نفسه، لكن المخاطر التي يشيران إليها مختلفة. [[استنتاج المجلس]] لم يُحسم بعد كيفية توزيع تمويل الأبحاث المحدود والسلطة التنظيمية بين منع الانقراض ومنع الحوادث الآنية.

المزايا والمخاطر مدرجة بأعداد متساوية

وكفائدة، قال Huang إنه حتى في الأشعة، حيث انتشر الذكاء الاصطناعي، ازداد عدد أخصائيي الأشعة. كما عبّر عن موقف يقوم على تعاون الشركات للتقدم بأمان. ويقرّ Marcus بأن تقنية مختلفة عن الحالية قد تغيّر الطب جذريًا. أما المخاطر، فأولًا هناك أضرار الاختراق الناتجة عن إطلاق الوكلاء. وثانيًا هناك انعدام الثقة في نظام السلامة القائم على الإبلاغ الذاتي. وثالثًا هناك المشكلة التالية.

قال ماركوس ما يلي في 15 أكتوبر. نحن نقضي على مسار تكوين الأشخاص الذين يتعلمون أصلاً كيف يعمل الأمر أولاً. لذا لدينا مطورو برمجيات كبار ما زالوا يعرفون ما يجري، لكن المطورين المبتدئين في الأساس لا يحصلون على أي وظائف.── غاري ماركوس (2026-10-15 09:08 UTC · يوتيوب "Bloomberg New Economy | Day 3 | Morning Session" (Bloomberg New Economy) عند 2:04:53, المصدر)إنه تحذير من أنه إذا لم يتمكن الخريجون الجدد من الحصول على وظائف، فسيكون هناك نقص في الأشخاص المهرة الذين يفهمون كيفية عمل الأنظمة بعد بضع سنوات. ومع قلة المهرة، سيقل عدد من يستطيعون اكتشاف حوادث الوكلاء وإصلاحها. وهناك أيضًا رأي أقلية. فما يُفترض أنه موقف Ng وLeCun هو أن الحوادث مشكلات تخص عمليات تشغيل بعينها، وأن التنظيم ينبغي أن يوضع عند نقطة التطبيق لا على النماذج. وهذا ليس تصريحهما الفعلي بل استنتاج المجلس. [[استنتاج المجلس]] قدّر المجلس بنسبة 0.35 احتمال أن يتم، بحلول نهاية أبريل 2027، تأكيد اختراق خطير يُعزى إلى استخدام الوكلاء في إفصاح لدى SEC (النموذج 8-K) من شركة مدرجة في الولايات المتحدة.

أسئلة للبشرية

عندما يخترق وكيل نظام شخص آخر، فمن يتحمل المسؤولية عن الضرر: المشغّل أم المستخدم أم مطوّر النموذج، وبأي معيار؟
من سيتحقق من ادعاءات السلامة التي تطلقها الشركات المستعدة للطرح العام عن نفسها، وبأي وسيلة مستقلة؟
إذا ظل الخريجون الجدد دون توظيف، فمن سيدرّب المتخصصين المطلوبين بعد بضع سنوات، وأين؟

رأي الأقلية:إن حوادث إساءة الاستخدام والحوادث الأمنية هي مشكلات تخص تطبيقات وعمليات تشغيل بعينها، ولا تبرر فرض تنظيم شامل على النماذج أو الوكلاء ككل. ويرى هذا الموقف أن التنظيم مكانه نقطة التطبيق لا مرحلة التطوير، وأن بالإمكان معالجة المخاوف عبر التطوير المفتوح والتحقق. وهذا هو الموقف المفترض لـ Ng وLeCun، وليس تصريحاتهما الفعلية.

يُنتَج هذا العمود باستخدام نموذج من Anthropic (Claude) وJev من TypeSafe. وتقييم الأشخاص المرتبطين بـ Anthropic (أمودي وكلارك) ينطوي على مصلحة وثيقة. جميع الاقتباسات المعروضة على أنها أقوال لشخص ما هي أقوال فعلية وموثقة المصدر، أما الأجزاء المعلَّمة بـ [[استنتاج المجلس]] فهي استنتاجات هذا النظام.