قادة الفكر

عندما يبدأ وكلاء الذكاء الاصطناعي بالتنسيق، تتضاعف المخاطر الناشئة من الداخل

Marshall Heilman
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةيخلق تنسيق وكلاء الذكاء الاصطناعي مخاطر نظامية من خلال تحويل الإخفاقات المنعزلة إلى…
عرض المزيد
  • يخلق تنسيق وكلاء الذكاء الاصطناعي مخاطر نظامية من خلال تحويل الإخفاقات المنعزلة إلى سلطة ونفوذ مشتركين.
  • تعكس منصات مثل rentahuman.ai نموذج التهديد من خلال تمكين وكلاء الذكاء الاصطناعي من التعاقد مع البشر للقيام بالمهام.
  • تكرر وكلاء الذكاء الاصطناعي المستقلون الآن سلوكيات التهديد الداخلي المستمرة مثل عمال تكنولوجيا المعلومات الكوريين الشماليين، ولكن بسرعة الكمبيوتر.

كشفت حادثة OpenClaw عن خطر لا تراقبه معظم برامج الأمن على نحو فعّال: التآمر بين الأنظمة التي تعمل بالذكاء الاصطناعي.

في واحدة من أول الحوادث التي تم ملاحظتها علنًا ، تم ملاحظة وكلاء الذكاء الاصطناعي المستقلين يكتشفون بعضهم البعض ، وتنسيق سلوكهم ، وتعزيز أساليبهم ، وتطويرهم معًا – دون توجيه أو إشراف بشري. هذا التحول يهم أكثر من أي نقطة ضعف واحدة لأنه يغير جذريًا كيفية اتساع نطاق المخاطر في بيئات أمان الذكاء الاصطناعي الحديثة.

OpenClaw و Moltbook لم يكونا مجرد عروض لقدرات الوكلاء. كانا إشارة مبكرة إلى ظهور تنسيق متعدد الوكلاء في بيئات واقعية. ما لا يزال غير مفهوم جيدًا هو لماذا تصرف الوكلاء على هذا النحو – ما النية التي كانوا ينفذونها ، وما السياق. عندما يمكن للوكلاء التنسيق ، يتغير نموذج التهديد ، وبدون رؤية في النية والسياق ، معظم برامج الأمن ليست مستعدة بعد لتحول المخاطر هذا.

لماذا يغير التآمر معادلة المخاطر

عملت OpenClaw ، المعروفة سابقًا باسم MoltBot و Clawdbot ، في بيئات المستهلكين ، وليس في بيئات الشركات. لكن السلوكيات التي كشفت عنها تنطبق بشكل مباشر على أنظمة الشركات التي تعتمد الذكاء الاصطناعي المستقل أو الوكيل.

عندما يُمنح وكيل الذكاء الاصطناعي حق الوصول إلى البريد الإلكتروني والتقويمات والمتصفحات والملفات والتطبيقات (ومنح التصرف بأدنى القيود) ، يتوقف عن التصرف كأداة. يبدأ في التصرف كالمستخدم.

يقوم بالمهام. يحافظ على الحضور. يعمل بشكل مستمر.

عزز Moltbook هذا التحول من خلال منح وكلاء Claw مكانًا للعثور على بعضهم البعض. في غضون أيام ، وثق المراقبون وكلاء يؤسسون اتصالات مشفرة ، ويتبادلون إرشادات للتحسين التكراري الذاتي، وينسقون الروايات، ويدعون إلى الاستقلال عن الإشراف البشري – سلوكيات ذات صلة مباشرة بإدارة مخاطر الذكاء الاصطناعي في الشركات.

سواء كان هذا يعكس استقلالية حقيقية أم لا ، فهذا الأمر جانبي. التنسيق نفسه هو الخطر. عندما يمكن للوكلاء التأثير على وكلاء آخرين يحملون بيانات اعتماد صالحة وصلاحيات مفوضة ، تتحول الإخفاقات المنعزلة سريعًا إلى إخفاقات تشمل النظام بأكمله.

التشابه مع كوريا الشمالية الذي لا ينبغي لفرق الأمن تجاهله

من منظور المخاطر الناشئة من داخل المؤسسة ، فإن التشابه مع عمليات العاملين في تكنولوجيا المعلومات من كوريا الشمالية لافت للغاية ووثيق الصلة بإدارة مخاطر الذكاء الاصطناعي.

على مدار سنوات ، اعتمد عملاء كوريا الشمالية على الوصول المستمر والنشاط الذي يبدو طبيعيًا والعمل المنجز على مستوى الموظفين الشرعيين العاملين عن بُعد، مع تنسيق العمل عبر الهويات والمناطق الزمنية واللغات.

الآن ، يكرر وكلاء الذكاء الاصطناعي العديد من هذه السلوكيات تلقائيًا.

الفرق هو السرعة والنطاق.

سعى العاملون في تكنولوجيا المعلومات من كوريا الشمالية منذ فترة طويلة إلى الأتمتة والاستعانة بالذكاء الاصطناعي لتخفيف عبء العمل الروتيني، والحفاظ على حضور مستمر، وتعظيم الإيرادات بأقل جهد بشري. يطبّق الوكلاء المستقلون هذا النهج الآن ، حيث يقومون بتنفيذ المهام الأساسية والحفاظ على النشاط والتنسيق في التنفيذ على نطاق واسع.

هذا هو السبب في أن حادثتا OpenClaw وMoltbook تهم. إنها معاينة لما يحدث عندما يظهر التنسيق دون حوكمة ، وبسرعة الذكاء الاصطناعي ونطاقه.

نموذج التهديد اتسع (مرة أخرى)

حتى وقت قريب ، كان القلق السائد هو الخطر الناشئ عن البشر الخبيثين الذين ينشئون وكلاء خبيثين أو يتلاعبون بهم.

هذا الخطر حقيقي ولا يزال موجودًا ، لكن خطرًا جديدًا يظهر ويمكن أن يضع المنظمات في خطر شديد.

نحن نرى الآن إشارات مبكرة للانعكاس: وكلاء خبيثين يتعاقدون مع البشر.

تسمح منصات مثل rentahuman.ai صراحة لوكلاء الذكاء الاصطناعي بتجنيد البشر لمهام العالم الحقيقي – من قضاء المشاوير وحضور الاجتماعات إلى التوقيع على الوثائق وإجراء المشتريات. يحدد البشر الأسعار. يُسنِد الوكلاء المهام.

أصبحت الحدود بين الأنظمة المستقلة والعمل البشري أكثر رقة. يمكن أن تنشأ النية الآن من أي جانب ، ويمكن أن يتدفق التنفيذ في كلا الاتجاهين.

هذا ليس خيالًا علميًا. إنه تحول هيكلي في كيفية تنسيق العمل (وإساءة استخدامه).

لماذا يهم هذا للأفرقة الأمنية

يعبر وكلاء الذكاء الاصطناعي نقطة انعطاف تغير مخاطر المنظمة جذريًا. لم يعد هذا مجرد مشكلة أمنية أخرى للذكاء الاصطناعي يمكن التعامل معها تدريجيًا – إنه خطر ناشئ من الداخل على مستوى النظام يمكن أن يهدد مباشرة استمرارية الأعمال والثقة والعلامة التجارية إذا تم إهماله.

لم يعودوا مقصورين على الاستجابة لأوامر منفصلة. بدأوا في الاستمرار والتنسيق والعمل عبر بيئات لم يتم تصميمها أبدًا للسلطة المفوضة (ناهيك عن تأثير الوكلاء بعضهم في بعض).

من منظور المخاطر الناشئة من داخل المؤسسة ، لا ينشأ التعرض للمخاطر من الشفرة الخبيثة فقط. تظهر عند طبقة التفاعل ، حيث تتقاطع نية الإنسان وقدرة الوكيل والسلطة المفوضة والتنسيق. هذا يتوافق بشكل وثيق مع مفهوم الثالوث القاتل لسايمون ويليسون: الوصول إلى البيانات الحساسة ، والتعرض للإدخالات غير الموثوقة ، والقدرة على التصرف أو التواصل خارجيًا. عندما تتقارب هذه الشروط ، يمكن أن تتصاعد الإخفاقات بسرعة من الأخطاء المعزولة إلى المخاطر الحرجة للأعمال.

يتطلب فهم هذا الانتقال من التفكير في وكيل واحد إلى مخاطر الأنظمة السلوكية.

أربعة أنماط تفاعل تُحدث مخاطر

حوادث وكلاء الذكاء الاصطناعي ليست فئة واحدة. تعتمد النتائج على من يمتلك النية وكيف يتم ممارسة السلطة. يساعد جدول بسيط الفرق على تصنيف الحوادث والاستجابة بشكل مناسب.

  1. التآمر: إنسان خبيث، وكيل خبيث
    يصبح الوكيل معززًا. تجتمع نية الإنسان مع كفاءة الوكيل والاستمرار والنطاق. يُضخم التنسيق التأثير ، مما يسمح بالاحتيال أو التضليل أو التلاعب دون فرق كبيرة. قدم Moltbook لمحة أولية عن مدى سرعة تعزيز الوكلاء لبعضهم البعض عند عدم تقييد الاكتشاف.
  2. مستخدم معادٍ: إنسان خبيث، وكيل غير خبيث
    الوكلاء المفيدون هم أدوات مثالية لإساءة الاستخدام. يمكن لشخص من داخل المؤسسة ذو نية خبيثة الحفاظ على هويات زائفة أو إخفاء النشاط أو تعزيز الخداع مثل الاحتيال بالجمع الاحتيالي بين وظائف متعددة في الوقت نفسه. الوكيل ليس خبيثًا. إنه ينفذ السلطة المفوضة.
  3. وكيل مُخترق: إنسان غير خبيث، وكيل خبيث
    هنا ، لا تكون النية الخبيثة صادرة عن الإنسان أصلًا. يمكن لحقن التعليمات أو الذاكرة المسمومة أو المدخلات المتلاعب بها تحويل وكيل إلى وسيلة لإساءة الاستخدام. عندما يتفاعل الوكلاء مع وكلاء آخرين ، يمكن أن تنتشر الاختراقات بسرعة ، خاصة مع الذاكرة الدائمة – وهو قلق أمني حاسم للذكاء الاصطناعي.
  4. الحالة المثالية: إنسان غير خبيث، وكيل غير خبيث
    حيث تفترض معظم المنظمات توافر الأمان ، وحيث تبدأ حوادث كثيرة. يسمح التفويض الزائد والصلاحيات المتراكمة والوصول الواسع للأخطاء الصغيرة بالتضخم. هذا ليس إهمالًا. إنه عدم تطابق بين القدرة والسيطرة.

عبر جميع الأنماط الأربعة ، تظل الديناميكية واحدة. يقلل وكلاء الذكاء الاصطناعي من الاحتكاك بين النية والنتيجة ، ويخفون إشارات السلوك ويوسعون نطاق التأثير. يصعب على الضوابط التقليدية التعامل مع الإجراءات المفوضة والمستمرة والتي تتوسطها أنظمة مستقلة.

نقطة انعطاف الحوكمة

صُمم الذكاء الاصطناعي الوكيل للمراقبة المستمرة والحفاظ على السياق والعمل على المعرفة المتراكمة. هذا ما يجعله قيمًا ، وخطيرًا عند عدم تقييده.

مع الذاكرة الدائمة والتنسيق ، لا يحتاج الاستغلال إلى أن يكون فوريا. يمكن أن ينتظر. يمكن أن يتطور.

يقلل وصف الذكاء الاصطناعي القائم على الوكلاء بأنه أداة إنتاجية من تقدير المخاطر. تتصرف هذه الأنظمة على نحو أقرب إلى أفراد من داخل المؤسسة منه إلى التطبيقات ، ولكن بسرعة الحواسيب.

ما يتطلبه تبني وكلاء الذكاء الاصطناعي الآمن فعلا

ينبغي للمنظمات معاملة الذكاء الاصطناعي القائم على الوكلاء كأنظمة عالية المخاطر في الشركات ، وليس كوسائل راحة.

يعني ذلك حالات استخدام معتمدة وضوابط متعددة الطبقات واختبارات تحاكي هجمات الخصوم وحوكمة رسمية. لا يزال مبدأ الحد الأدنى من الصلاحيات مهمًا ، وتوفر المعايير الحالية بالفعل إرشادات. لكن يجب أن تُزاوج الضوابط التقليدية مع رؤية السلوك والاستخبارات – سجل التوجيهات ، والإجراءات المستقلة ، ونمط التنسيق – لتمييز سوء الاستخدام والإساءة والفشل النظامي كجزء من إدارة مخاطر الذكاء الاصطناعي الفعالة.

هذا ليس عن إبطاء التبني. إنه عن جعل الاستقلالية قابلة للحوكمة دون المساس بالابتكار والسرعة.

الخلاصة

يغير التآمر معادلة المخاطر الناشئة من داخل المؤسسة. عندما يمكن لوكلاء الذكاء الاصطناعي تعزيز سلوك بعضهم البعض ، تتحول المخاطر من إجراءات معزولة إلى سلطة مشتركة وتأثير وتضخيم.

يظهر التعرض للمخاطر الأمنية الآن عند طبقة التفاعل ، حيث يتقاطع الوصول المشروع والسلطة المفوضة والتآمر. ستغفل الضوابط المصممة لتقييم النشاط الفردي الإخفاقات التي لا تظهر إلا عندما تتضافر السلوكيات.

المنظمات التي تحكم وكلاء الذكاء الاصطناعي مثل أفراد من داخل المؤسسة – مع رؤية السلوك والمساءلة – يمكنها توسيع استخدام وكلاء الذكاء الاصطناعي بثقة. تلك التي لا تفعل ستجد نفسها مضطرة إلى الاستجابة لنتائج لم تعد تتحكم فيها بشكل كامل.

مارشال هايلمان هو الرئيس التنفيذي لشركة DTEX Systems، الشركة الرائدة عالميا في إدارة المخاطر الداخلية. مارشال لديه أكثر من 20 عاما من الخبرة في مجال الأمن السيبراني (في الشركات الناشئة والشركات الكبرى المدرجة في البورصة)، شغل مناصب قيادية تنفيذية وتقنية عالية في Mandiant و Google.