من الذكاء إلى الصلاحيات

يتجاوز الذكاء الاصطناعي اليوم الإجابة عن الأسئلة وتوليد المحتوى. إذ باتت أنظمته قادرة على نحو متزايد على تفسير التعليمات، ووضع الخطط، واختيار الأدوات، وتنفيذ المهام من دون توجيه بشري مستمر.

وهذا فارق مهم.

يختلف نظام ذكاء اصطناعي يوصي باتخاذ إجراء عن نظام مخوّل بتنفيذه. ولا يتعلق الفرق بالضرورة بمستوى الذكاء أو التطور، بل بالصلاحية.

لا تقتصر الأنظمة المستقلة على النماذج اللغوية الكبيرة المتقدمة. فهي تشمل أنظمة متخصصة للتعلم الآلي، والروبوتات، والمركبات ذاتية القيادة، والوكلاء البرمجيين، ومزيجًا من التقنيات التي تتخذ قرارات أو تنفذ إجراءات بصورة مستقلة ضمن ظروف تشغيل محددة.

فوائدها المحتملة كبيرة. فهي قادرة على دعم الاكتشاف العلمي، والعمليات الصناعية، والرعاية الصحية، وتطوير البرمجيات، والأمن السيبراني. لكنها قد تؤدي أيضًا إلى نتائج غير مقصودة، أو تكشف معلومات حساسة، أو تباشر إجراءات تتجاوز ما قصده مشغّلوها.

في التحديات الأمنية في تصميم الأنظمة المستقلة، يتناول محمد حمد وسيباستيان شتاينهورست التحديات الأمنية المرتبطة بالاستجابة المستقلة للحوادث، وتقييم المخاطر، والتحكم في الوصول، وموثوقية البيانات، والتفاعلات بين الأنظمة المستقلة. وتوضح أبحاثهما، التي يتناول معظمها الأنظمة السيبرانية الفيزيائية، أن تحديات تأمين تصرف الآلات المستقل تتجاوز وكلاء النماذج اللغوية الكبيرة اليوم.

تستحق العواقب الأوسع للاستقلالية دراسة جادة، بما في ذلك احتمال وقوع أذى جسدي. لكن ينبغي تفسير الأدلة بحذر. فالحوادث التي تشمل مركبات آلية، على سبيل المثال، لا يمكن أن تُعزى تلقائيًا إلى الآليات نفسها التي تؤثر في وكلاء الأمن السيبراني المستقلين. فدرجة الاستقلالية، وظروف التشغيل، ومدى تدخل البشر، والأدلة على العلاقة السببية، كلها أمور مهمة.

وبالمثل، فإن وجود أدلة على قدرة الذكاء الاصطناعي المستقل على التسبب في الضرر لا يثبت بالضرورة أن الحوكمة متأخرة عن مواكبة التطورات. كما ينبغي ألا نفترض أن تأمين الأنظمة المستقلة أمر صعب بطبيعته.

ليس السؤال الجوهري ما إذا كان الذكاء الاصطناعي قادرًا على إنجاز أعمال معقدة، بل ما إذا كانت الأطر المعمارية والأمنية والتنظيمية التي تحكم الأنظمة المستقلة قادرة على وضع حدود مناسبة للصلاحيات المفوضة، وتقديم أدلة قابلة للتحقق على الالتزام بهذه الحدود.

يوفر الأمن السيبراني منظورًا مفيدًا على نحو خاص لهذه المسألة، إذ أمضى اختصاصيو الأمن عقودًا في التشكيك في الافتراضات المتعلقة بالثقة والأذونات والوصول وسلوك الأنظمة.

لعبة القط والفأر بسرعة الآلة

لطالما وُصف الأمن السيبراني بأنه لعبة قط وفأر.

يكتشف المهاجمون مواطن الضعف، ويستحدث المدافعون تدابير وقائية، ويتكيف الطرفان. وتستمر هذه الدورة مع تغير التقنيات والأساليب وبيئات التشغيل.

ليس من الضروري أن يغيّر الذكاء الاصطناعي المستقل القواعد الأساسية لهذه اللعبة. لكنه قد يغيّر هوية اللاعبين — أو طبيعتهم — وسرعة تحركهم وحجم العمل الذي يمكن إنجازه من دون تدخل بشري مستمر.

قد يحدد نظام مستقل للأمن الهجومي الخدمات المكشوفة، ويفحص الثغرات، ويطوّر مسارات هجوم محتملة، ويختبر مدى إمكانية استغلالها. وقد يستخدم نظام دفاعي قدرات مماثلة للتحقيق في التهديدات، وتحديد مواطن الضعف، والتحقق من فعالية المعالجة.

وتُعد هذه الإمكانية ذات الاستخدام المزدوج عنصرًا أساسيًا لفهم التداعيات الأمنية للذكاء الاصطناعي المستقل.

يقدم Project Glasswing من Anthropic مثالًا على اكتشاف الثغرات بمساعدة الذكاء الاصطناعي. وفي تحديث بحثي لشهر مايو 2026، أفادت Anthropic بتحقيق نتائج كبيرة في اكتشاف الثغرات، مع التشديد على التحديات التشغيلية المرتبطة بالتحقق منها والإفصاح عنها وترقيعها.

وهذا فارق مهم. فاكتشاف ثغرة لا يعني تأكيد إمكانية استغلالها، أو معالجتها، أو إثبات أمن النظام المتأثر.

قد يؤدي ازدياد النتائج إلى تحسين الرؤية، وفي الوقت نفسه إلى زيادة العبء على الأشخاص والعمليات المسؤولة عن معالجة تلك النتائج.

وتتوقف النتيجة الأمنية على ما يحدث بعد ذلك.

إذا استطاع المهاجمون والمدافعون أتمتة أجزاء من عملهم، فلا يقتصر السؤال المهم على تحديد الطرف الذي يمتلك النموذج الأكثر قدرة. بل يتمثل في معرفة ما إذا كان المدافعون قادرين على تحويل الاكتشافات إلى معالجة فعالة، والتحقق من النتائج بصورة مستقلة.

لا يصبح اختبار الاختراق التقليدي متقادمًا لمجرد قدرة الذكاء الاصطناعي على تنفيذ مهام هجومية. بل ينبغي توسيع نطاقه ليشمل الأنظمة التي تفسر التعليمات، وتستدعي الأدوات، وتجمع الأذونات، وتسعى إلى تحقيق أهداف عبر خطوات متعددة.

ويظل الهدف مألوفًا: العثور على مواطن الضعف، وتحديد أهميتها، ومعالجتها، وإثبات فعالية التدابير الوقائية.

مفاصل البنية المعمارية: حيث تلتقي الحدود الأمنية

ينشأ أحد المخاطر الأقل وضوحًا في الأنظمة المستقلة عندما تتفاعل مكوّنات مخوّلة كلٌّ على حدة بطرق تؤدي إلى نتائج غير مقصودة.

أُطلق على نقاط التفاعل هذه اسم «الدرزات المعمارية».

لنتأمل مثالًا تقليديًا: تقيّد مؤسسة الوصول إلى ملف باستخدام أذونات NTFS، بينما تتيح خدمة منفصلة لمشاركة الملفات عبر السحابة لمستخدم مخوّل مشاركة تلك المعلومات مع جهات خارجية.

قد يعمل كل نظام وفق قواعده الخاصة، لكن التفاعل بينهما قد يؤدي إلى مشاركة معلومات تتجاوز الحدود الأمنية التي تقصد المؤسسة فرضها.

هذا مثال يوضّح احتمال تعارض السياسات، وليس ادعاءً بأن أي منتج لمشاركة الملفات يعاني من ثغرة أمنية.

قد لا تكمن المشكلة في عيب في أيٍّ من وسيلتي التحكم على حدة، بل في الإخفاق في تطبيق السياسة الأمنية المقصودة على امتداد سير العمل كاملًا.

قد تواجه أنظمة الذكاء الاصطناعي المستقلة ظروفًا مشابهة عند الربط بين النماذج والتطبيقات والهويات والأدوات والمستودعات والخدمات الخارجية.

قد يُسمح لوكيل بقراءة مستند وإنشاء مستودع وتحميل ملفات، لكن ذلك لا يعني بالضرورة أن لديه صلاحية الجمع بين هذه العمليات على نحو يكشف معلومات سرية.

تقدّم الأبحاث سببًا عمليًا لفحص هذه التفاعلات.

في AgentDojo، قيّم الباحثون هجمات حقن الأوامر ضد وكلاء ذكاء اصطناعي يستخدمون الأدوات، وذلك عبر 97 مهمة واقعية و629 حالة اختبار أمنية. وأظهرت نتائجهم أن التعليمات الخبيثة المُدخلة عبر مخرجات أدوات غير موثوقة قد تقوّض بعض الخصائص الأمنية، مع أن الهجمات والوكلاء لم يحققوا النجاح على نحو موحّد.

لا تحدد هذه الأبحاث مدى تكرار نجاح هذه الهجمات في بيئات الإنتاج، لكنها تبيّن أن تقييم استجابات النموذج وحدها لا يكفي لفهم سلوك نظام متصل بالأدوات.

يُشار أحيانًا إلى خطر ذي صلة باسم «تمرير الصلاحيات»؛ إذ يبدو الإجراء مشروعًا لأنه يمر عبر أداة أو وسيط مخوّل، رغم أن السلوك الناتج عن الجمع بين الإجراءات ينتهك حدود الصلاحيات المقصودة.

مع تعاون وكلاء متعددين، تتطلب هذه العلاقات قواعد صريحة تنظّم المشاركة وتبادل المعلومات والإجراءات المسموح بها.

ويجب أيضًا تحديد المسؤوليات على امتداد البنية المعمارية.

قد يتحكم مزوّدو النماذج ومشغّلو المنصات ومطوّرو الوكلاء والمؤسسات التي تنشرها في أجزاء مختلفة من النظام. ويحدّد نموذج فعّال للمسؤولية المشتركة الجهة التي تتحكم في كل حدّ، والجهة المخوّلة بالموافقة على الاستثناءات، والجهة التي تراقب التنفيذ، والجهة التي تستجيب عند حدوث مشكلة.

لا تلغي الاستقلالية المسؤولية، بل تزيد أهمية معرفة الجهة التي تقع عليها.

الصرامة الهجومية: اختبار ما نظن أننا نعرفه

وهذا يقودنا إلى مفهوم أصفه بأنه «الصرامة الهجومية».

الصرامة الهجومية نهج منضبط للاختبار العدائي والاستقصاء النقدي والتحقق القائم على الأدلة، يضع الافتراضات الأمنية موضع التساؤل. ويقيّم كيفية تصرّف الأنظمة في ظروف واقعية بدلًا من الاعتماد حصرًا على التصاميم المعمارية أو ضوابط الأمن الموثّقة أو وسائل الحماية المتصوّرة.

هذه الممارسات راسخة. فقد ظل اختبار الاختراق ونمذجة التهديدات والاختبار الأمني الهجومي والتحقق الأمني يتحدّون الافتراضات الدفاعية منذ زمن طويل.

تجمع الصرامة الهجومية هذه الممارسات حول سؤال محوري:

ما الدليل على أن الحدود الأمنية المقصودة تصمد؟

قد تعتمد مؤسسة سياسات تقيّد المعلومات الحساسة، ونموذجًا مضبوطًا لرفض الطلبات المحظورة، ووكيلًا يعمل بصلاحيات محدودة.

تُعد هذه ضمانات مهمة، لكن وجودها لا يثبت بحد ذاته أن النظام بكامله يتصرف بأمان في ظل ظروف عدائية.

قد يرفض النموذج تعليمات خبيثة، بينما تظل أداة مخوّلة تسمح بإجراء غير مقصود. وقد تبدو السياسة سليمة، في حين ينشئ التفاعل بين الأنظمة مسارًا غير متوقع للالتفاف عليها.

أسمّي هذا أحيانًا «وهم الحواجز الوقائية»: الخلط بين وجود الحواجز الوقائية والدليل على أن النظام لا يستطيع تجاوز الحدود التي وُضعت تلك الحواجز لفرضها.

الحواجز الوقائية مفيدة، لكن لا بد من إثبات فعاليتها.

لنتأمل وكيلًا مستقلًا مخوّلًا بالتحقيق في اختراق مشتبه به. يستطيع استرجاع السجلات وفحص نشاط المستخدمين والتوصية باحتواء التهديد.

أثناء اختبار أمني مخوّل، يُدخل مختبِر عدائي تعليمات مضللة في معلومات يُتوقع من الوكيل الاطلاع عليها.

ينبغي ألا يقتصر الاختبار على تحديد ما إذا كان الوكيل قد اتبع تلك التعليمات.

بل ينبغي أن يفحص ما إذا كان الوكيل قد حاول تنفيذ إجراء غير مخوّل، وما إذا كانت ضوابط مستقلة قد منعت تنفيذه، وما إذا سُجّلت المحاولة، وما إذا تعافى النظام على النحو المناسب.

تربط الصرامة الهجومية بين خمسة أنشطة:

1. إرساء الافتراض: تحديد خاصية الأمان المتوقع من البنية فرضها.
2. اختبار الافتراض: اختبار مسارات الهجوم الواقعية، والمدخلات المتلاعب بها، ومزيج من القدرات المشروعة.
3. جمع الأدلة: تحديد ما حاول النظام فعله، وما نُفّذ، والضوابط التي عملت.
4. معالجة مكمن الضعف: معالجة النموذج أو سير العمل أو الأذونات أو البنية أو العملية التشغيلية التي تسببت في الإخفاق.
5. التحقق من المعالجة: إعادة اختبار مسار الهجوم المعني والتأكد من فرض خاصية الأمان المستهدفة.

وهذا هو الفرق بين اختبار استجابة النموذج واختبار أمن النظام بأكمله.

ويتطلب ذلك أيضًا فحص ما يحدث بعد تحقيق موطئ قدم أولي. فقد يحاول المهاجم جمع بيانات اعتماد، أو تصعيد الامتيازات، أو ترسيخ وجوده، أو التحرك أفقيًا، مستغلًا قدرات متاحة بالفعل في البيئة.

كون الأداة مشروعة لا يعني أن كل استخدام لها مشروع.

ليس الغرض من الصرامة الهجومية افتراض أن الأنظمة المستقلة غير آمنة، بل تحديد مواضع صمود حدودها الأمنية من خلال الاختبار.

الاستقلالية المشروطة: الفصل بين الذكاء والصلاحية

يتمثل أحد الحلول المعمارية في التمييز بين ما يستطيع نظام الذكاء الاصطناعي فعله وما يُسمح له بفعله.

أصف هذا النهج بالاستقلالية المشروطة.

تقر الاستقلالية المشروطة بأن الدرجة المناسبة من الاستقلالية تعتمد على المهمة، وبيئة التشغيل، والعواقب المحتملة، ومستوى عدم اليقين، والأدلة المتاحة لتبرير إجراء ما.

لا يحتاج وكيل يلخص معلومات عامة بالضرورة إلى مستوى الإشراف نفسه الذي يحتاج إليه وكيل مخوّل بتعطيل الحسابات أو تعديل قواعد جدار الحماية أو تغيير البنية التحتية للإنتاج.

وقد يتطلب الوكيل الأخير قواعد اشتباك صريحة، وأذونات تُفرض بصورة مستقلة، وتفويضًا أقوى، وموافقة بشرية على الإجراءات ذات العواقب المهمة.

ينبغي ألا تتسع هذه الحدود لمجرد أن الوكيل قرر أن توسيع نطاق الوصول سيساعده على تحقيق هدفه.

يمكن للوكيل إعادة النظر في طريقة تنفيذ مهمة مخوّل بها، من دون اكتساب صلاحيات إضافية.

تتناول قائمة OWASP لأهم 10 مخاطر في تطبيقات النماذج اللغوية الكبيرة هذه المسألة ضمن فئة LLM06:2025: الصلاحيات المفرطة للوكيل. وتحدد OWASP الوظائف والصلاحيات والاستقلالية المفرطة بوصفها مصادر للمخاطر، وتوصي بتقييد القدرات وفرض التفويض بصورة مستقلة.

تطبق الاستقلالية المشروطة هذه المبادئ وفقًا للمخاطر التشغيلية.

ينبغي قصر الوصول إلى المعلومات على ما تتطلبه المهمة. وينبغي تحديد صلاحيات الأدوات بما يقتصر على العمليات المعتمدة. كما يمكن تقييد التنفيذ بميزانيات للإجراءات، وحدود لمعدل الاستخدام، ومتطلبات للموافقة، وشروط لإيقاف العمل.

تكتسب هذه الضمانات أهمية خاصة في الاختبارات الهجومية المستقلة.

قد يعثر وكيل الاختبار، على نحو مشروع، على بيانات اعتماد أو معلومات حساسة أثناء سعيه إلى تحقيق هدف مصرح به. لكن العثور على بيانات اعتماد لا يعني أن النموذج يحتاج إلى تلقي قيمتها بنص صريح.

يمكن لإطار أمني أن يعزل بيانات الاعتماد الحساسة عن النموذج، وأن يتيح استخدامها عبر آلية تفويض تُفرض بصورة مستقلة. فعلى سبيل المثال، قد يزوّد وسيط بيانات الاعتماد خدمة معتمدة بسرٍّ مباشرة، من دون كشفه للنموذج بلا داعٍ.

وينطبق ذلك على المبدأين الراسخين المتمثلين في الحد الأدنى من الصلاحيات وفصل المهام.

ويثير ذلك أيضًا سؤالًا مهمًا بشأن بنية «أحضر نموذجك الخاص» (Bring Your Own Model (BYOM)) أو «أحضر نموذج اللغة الكبير الخاص بك» (BYO-LLM).

إذا استُبدل النموذج الأساسي غدًا، فما ضمانات الأمان التي ستظل قائمة؟

قد تكون صلاحية تنفيذ المهام، وعزل بيانات الاعتماد، وقيود النطاق، والتسجيل، وفرض السياسات من مسؤولية الإطار المحيط بالنموذج، بدلًا من اعتمادها كليًا على سلوك النموذج.

لكن هذا لا يجعل الإطار آمنًا تلقائيًا، ولا يعني أن النماذج قابلة للتبادل. فقد تفسر النماذج المختلفة التعليمات بطرق متباينة، وتستدعي الأدوات بطرق مختلفة، وتُحدث أنماط إخفاق متباينة.

يجب أن يختبر التقييم المجدي كلًا من الضوابط المصممة للبقاء ثابتة والسلوكيات التي تتغير عند تبديل النموذج.

لعل أكثر خصائص الأمان ديمومة هي تلك التي تظل قابلة للفرض بصورة مستقلة، حتى مع تطور مكوّن الذكاء.

عندما يتصرف الذكاء الاصطناعي بناءً على مخرجات ذكاء اصطناعي آخر: مشكلة التحقق

لنتأمل سير عمل افتراضيًا لعمليات الأمن:

تحقّق في هذه الحادثة، واجمع الأدلة، وحدد الهويات المتأثرة، واقترح إجراءات الاحتواء، ونفّذ الإجراءات المعتمدة، ثم تحقّق من النتيجة.

يحلل وكيلٌ للتحقيق بيانات القياس عن بُعد. ويوصي وكيل آخر بإجراءات الاحتواء. وينفّذ وكيل مخوّل الإجراءات التغييرات. أما وكيل التحقق فيقيّم النتيجة.

يوضح هذا استجابةً مستقلةً للحوادث ذات حلقة مغلقة، لا إخفاقًا موثقًا على مستوى الصناعة.

لنفترض أن الوكيل الأول حدّد هويةً على نحو خاطئ باعتبارها مخترَقة. وقَبِل وكيل ثانٍ هذا الاستنتاج وعطّل الحساب. ثم أكد وكيل ثالث أن الحساب عُطّل وأفاد بنجاح العملية.

نُفّذت العملية المحددة.

لكن هل كان التحديد الأصلي صحيحًا؟ وهل كان الإجراء مأذونًا به؟ وهل عالج الاحتواء التهديد الفعلي؟ وهل تسبب في تعطيل لا داعي له؟

لا يجوز أن يقتصر التحقق على التأكد من أن الوكيل نفّذ الإجراء الذي اختاره.

كما أن إسناد التحقق إلى وكيل ذكاء اصطناعي آخر لا يجعل النتيجة مستقلة تلقائيًا.

قد تعتمد وكلاء مختلفة على بيانات قياس عن بُعد غير دقيقة ذاتها، أو معلومات مخترَقة، أو افتراضات معيبة. ولا يثبت توافقها، على نحو مستقل، الوقائع الأساسية.

كلما زادت عواقب إجراء مستقل، ازدادت الحاجة إلى تحقق مستقل عن النظام الذي اتخذ القرار.

وقد تتحقق هذه الاستقلالية بالاستناد إلى أدلة جُمعت من مصادر منفصلة، أو بإجراء فحوص حتمية للسياسات، أو باستخدام بيئات تنفيذ مقيّدة، أو بمراجعة بشرية، أو بمزيج من هذه الضمانات.

ينبغي أن تتناسب الضوابط المناسبة مع عواقب الخطأ.

قد تلائم إجراءات التحقق الآلي الإجراءاتَ القابلة للعكس ذات الأثر المحدود. أما الإجراءات ذات الأثر الكبير أو التي يصعب التراجع عنها، فقد تتطلب تفويضًا أقوى، وتأكيدًا مستقلًا، وموافقة بشرية صريحة.

تساعد أربعة أسئلة على التمييز بين خصائص الأمان ذات الصلة:

• هل فسّر النظام المهمة المقصودة تفسيرًا صحيحًا؟
• هل كان الإجراء ضمن الصلاحيات المفوّضة إليه؟
• هل ظل التنفيذ ضمن الحدود المسموح بها؟
• هل حققت النتيجة النهائية الهدف الأمني المقصود؟

ترتبط هذه الأسئلة بعضها ببعض، لكنها ليست قابلة للاستبدال بعضها ببعض.

قد ينفّذ الوكيل إجراءً مأذونًا به يؤدي إلى نتيجة غير مقصودة. وقد يحقق أيضًا نتيجة تبدو مفيدة من خلال إجراء غير مأذون به.

ولا ينبغي اعتبار أيٍّ منهما نجاحًا أمنيًا تلقائيًا.

كلما ازدادت قدرات الأنظمة المستقلة، لم يعد التحدي يقتصر على تمكينها من إتمام مسارات عمل معقدة؛ بل يتمثل في إقامة أدلة كافية على أن إجراءاتها تظل مأذونًا بها وملائمة وصحيحة.

ويشمل ذلك معرفة متى ينبغي إيقاف العملية، أو تصعيدها، أو التراجع عن إجراء، أو قبول مخاطرة محدودة ومفهومة صراحةً.

يجب أن تستند الثقة إلى الأدلة

ليست التداعيات الأمنية للذكاء الاصطناعي المستقل سلبيةً حصرًا.

يمكن للأنظمة المستقلة أن تساعد المدافعين على اكتشاف مواطن الضعف، والتحقيق في التهديدات، وإجراء أعمال التحقق التي كانت ستستهلك قدرًا كبيرًا من الجهد البشري لولاها.

قد تسهم النماذج الأفضل، والضوابط الخارجية الأقوى، والممارسات التشغيلية الأكثر نضجًا في الحد من بعض المخاطر المرتبطة بتفويض الصلاحيات.

لذلك، سيكون من السابق لأوانه استنتاج أن الذكاء الاصطناعي المستقل غير آمن بطبيعته، أو أن الحوكمة لا تستطيع مواكبة تطوره.

وثمة أيضًا حجة مضادة وجيهة لفكرة أن الذكاء الاصطناعي المستقل يتطلب مبادئ أمنية جديدة من الأساس.

دُرست مشكلات أساسية كثيرة لعقود، منها الامتيازات المفرطة، والمدخلات غير الموثوقة، وضعف التفويض، وعدم اتساق تطبيق السياسات، وقصور التحقق.

قد توفر الضوابط الراسخة حلولًا عملية بالفعل، إذا نُفّذت واختُبرت على النحو الصحيح.

قد يغير الاستقلال وتيرة تطبيق هذه الضوابط ونطاقه وتعقيده، لكنه لا يبطلها تلقائيًا.

تدعم الأدلة طرح سؤال أكثر فائدة: ما الظروف التي تتيح الوثوق بالأنظمة المستقلة عند ممارسة الصلاحيات المفوّضة إليها، وكيف نثبت استيفاء تلك الظروف؟

لن تأتي الإجابة من قدرات النموذج وحدها.

بل تتطلب حدودًا معمارية، ومسؤوليات محددة بوضوح، وتفويضًا يُطبّق بصورة مستقلة، وإشرافًا ملائمًا، وأدلة تثبت فاعلية الضمانات في ظروف واقعية.

كما تتطلب رؤية متسقة للأمن والمخاطر، مع بقائها قابلة للتطور.

لا يلزم أن تتغير مبادئنا الأمنية الأساسية مع ظهور كل نموذج جديد. لكن يجب أن نواصل اختبار افتراضاتنا بشأن كيفية تطبيق تلك المبادئ، مع تطور القدرات وبيئات التشغيل والصلاحيات المفوّضة.

هذا هو الهدف من الصرامة الهجومية.

ليس الهدف إثبات أن أنظمة الذكاء الاصطناعي ستخفق، بل اكتشاف مواطن إخفاقها، وتحديد عواقب ذلك، والتحقق من فعالية الضوابط المصممة لمنع تلك الإخفاقات أو احتوائها.

لعل الميزة الأرسخ لا تكمن في اختيار نموذج أكثر قدرة فحسب، بل في بناء بنية تتيح تغيير النماذج من دون المساس بحدود الثقة والصلاحيات والتحقق.

تستمر لعبة القط والفأر. وقد أصبح لدى كلا الجانبين، على نحو متزايد، أطراف فاعلة مستقلة ذاتيًا.

يكمن الانضباط الأهم في ضمان ألا تضيع قدرتنا على اكتشاف مواطن الضعف وإصلاحها وإثبات النتائج في خضم السباق لأتمتة كل ما عدا ذلك.

يجب أن يستند الثقة إلى الأدلة.

ملاحظة من الكاتب: الآراء والتفسيرات الواردة في هذا المقال تخصني، ولا تعكس بالضرورة المواقف أو السياسات الرسمية لصاحب عملي أو قدرات منتجاته.