ساندي دون، رئيس الأمن المعلوماتي في SPLX – سلسلة المقابلات

ساندي دون، رئيس الأمن المعلوماتي في SPLX هو خبير أمن معلوماتي متقدم مع أكثر من 20 عامًا من الخبرة في مجال الرعاية الصحية والشركات الناشئة، ويوفر استشارات أمن المعلومات عبر QuarkIQ. وهو يُدير قائمة OWASP Top 10 للتحقق من أمان التطبيقات السيبرانية والحوكمة للتحقق من أمان التطبيقات السيبرانية، ويساهم في OWASP AI Exchange، و OWASP Top 10 للتحقق من أمان التطبيقات السيبرانية، والرابطة الأمنية للسيبرانية. وهو أستاذ مساعد في جامعة بويسي ستيت، وهو أيضًا متحدث ومستشار وعضو مجلس إدارة معهد بويسي ستيت للسيبرانية الشاملة. ساندي حصل على ماجستير في إدارة أمن المعلومات من SANS وعدد من الشهادات، بما في ذلك CISSP، وعدد من شهادات SANS GIAC، و Security+، و ISTQB، و FAIR.

SPLX هي شركة أمن سيبراني توفر حماية شاملة لأنظمة الذكاء الاصطناعي من خلال اختبار التماسك الآلي، وحماية وقت التشغيل، والحوكمة، والإصلاح، وفحص التهديدات، وأمان النموذج. منصة الشركة تُجرِ آلافًا من محاكاة التهديدات في أقل من ساعة لتحديد الثغرات الأمنية، وتُقوي إشارات النظام قبل النشر، وتتضمن Agentic Radar، وهو أداة مفتوحة المصدر لتحليل الخريطة وتحليل المخاطر في تدفقات العمل السيبرانية متعددة الوكلاء.

ما الذي جذبك إلى تقاطع الذكاء الاصطناعي والأمن السيبراني، وكيف أدت هذه المسار إلى دورك في SPLX ومشاركتك مع OWASP؟

كان الذكاء الاصطناعي جزءًا من محادثات الأمن السيبراني لسنوات قبل ChatGPT، ولكنها غالبًا ما شعرت أنها لم تُحقق ما وعدت به. لذلك، عندما تم إطلاق ChatGPT، كنت أتوقع أن أكون غير مستعبد، ولكنني كان لدي رد فعل معاكس تمامًا. عندما استخدمت ChatGPT لأول مرة، كنت مندهشًا مما يمكنه فعله، ومرعوبًا من كيف يمكن استخدامه بسرعة للهجمات المعادية أو إساءة استخدام البيانات. تلك اللحظة أشعلت النار. غطست في LLMs بشكل مباشر، وقرأت كل ورقة بحثية يمكنني العثور عليها، وانضمت إلى كل مجتمع Slack و Discord ذي الصلة، و chạy تجاربي الخاصة. كنت أستمع لبعض الوقت في قناة OWASP Top 10 للتحقق من أمان التطبيقات السيبرانية، وعندما تم نشر القائمة الأولى، عرفت أنها كانت لحظة مهمة. ولكن كمسؤول أمن سيبراني، شعرت أن فرق الأمن تحتاج إلى مزيد من المعلومات. لقد أخبرناهم بما يجب أن يقلقوا منه، ولكن ليس بما يجب القيام به. تقدمت إلى Steve Wilson، رئيس المشروع، لإنشاء “قائمة التحقق من أمان الذكاء الاصطناعي”. ثم أصبحت أول مشروع فرعي ل OWASP GenAI، وهو ما ألهم العديد من المشاريع الفرعية الإضافية.

من خلال هذا العمل، قابلت Kristian Kamber و Ante Gojsalic (مؤسسي SPLX)، واشرفت أيضًا على العديد من شركات الأمن السيبراني للذكاء الاصطناعي، بعضها لديها أفكار واعدة، وبعضها أقل من ذلك. في ذلك الوقت، كنت مسؤول أمن سيبراني في شركة روبوتات دردشة بيزنيس تو بيزنيس، وأنشأت كتابًا شاملاً لاختبار التماسك الآلي للذكاء الاصطناعي. عندما رأيت عرض SPLX، عرفت على الفور أنها حلت المشكلة التي كنت أحاربها: كيفية تشغيل اختبار التماسك الآلي. عندما احتاجت SPLX إلى مسؤول أمن سيبراني، قفزت إلى الفرصة للانضمام إلى شركة رائعة مع أشخاص رائعين يحلون تحديات مهمة.

كمسؤول أمن سيبراني في SPLX، ما هي أكثر تقنيات الهجوم المبتكرة التي تكتشفها، خاصة فيما يتعلق بالذكاء الاصطناعي الوكيل؟

بسبب دقة تصميم نظام الذكاء الاصطناعي، لا يُستطيع إliminierung تمامًا من ثغرات أمان الذكاء الاصطناعي والهجمات التي تستخدم استقلالية الوكيل وقدراته. الهجمات مثل MINJA هي مثال حديث على ذلك. مع MINJA، يمكن للمهاجمين تلوث ذاكرة الوكيل بشكل خفي من خلال التفاعلات المصنعة، وزرع “ذكريات” ضارة مع الإشارات الناتجة عن سلوك خاطئ أو خطير فيما بعد. مثال آخر هو هجوم غرفة الصوت. هذا هو حيث يخلق المهاجم حلقات محادثية من خلال إرسال الوكيل سياقات خبيثة متكررة. تمكن الباحثون من تجاوز آليات الأمان من خلال تعزيز تعليمات ضارة على مدار عدة دورات.

الهجوم غير المباشر والحقن القسري للتحفيز هو مثال آخر. تُخفي الإرشادات الخبيثة في المحتوى الخارجي مثل الصور أو المستندات التي يستهلكها الوكلاء. يمكن لهذه الإرشادات اختطاف القرارات المستقلة دون مدخلات مباشرة من المستخدم.

الهجمات المتطورة على نظام الوكيل السيبراني مثل تسميم الأدوات تتطلب مراجعة دقيقة لجميع الإمدادات لعمليات نشر الوكيل. يخلق المهاجمون أدوات تبدو شرعية للمنصات الوكيلية ولكن يضمون إرشادات خبيثة داخل وصفات الأدوات وتوثيقها. عندما يُحمل الوكلاء هذه الأدوات، تصبح الإرشادات المضمنة جزءًا من سياق الوكيل، مما يسمح بأفعال غير مصرح بها مثل سرقة البيانات أو اختراق النظام.

كيف تساعد منصة SPLX الشركات على اكتشاف الاستجابة لتهديدات الذكاء الاصطناعي المحددة مثل حقن التحفيز أو هجمات السجن المعادية؟

SPLX هي منصة أمن شاملة لحماية التطبيقات التي تعمل بالذكاء الاصطناعي والأنظمة متعددة الوكلاء على مدار دورة حياة الذكاء الاصطناعي بأكملها، من التطوير إلى النشر إلى التشغيل في الوقت الفعلي. حماية وقت التشغيل لدينا مصممة لوقف هذه التهديدات أثناء حدوثها من خلال مراقبة مستمرة وتصفية الإدخالات والإخراج. تعمل كجدار حماية في الوقت الفعلي للذكاء الاصطناعي وتفرض حدود سلوكية صارمة على الذكاء الاصطناعي. محرك الكشف الديناميكي ل SPLX يُحِد النشاط الخبيث في الوقت الفعلي، مما يضمن استجابة أنظمة الذكاء الاصطناعي بأمان ويبقى ضمن الحدود المقصودة.

كيف تعكس التهديدات الجديدة في تحديث OWASP GenAI Security Top 10 المخاطر مثل تسرب إشارات النظام وثغرات قاعدة البيانات؟

تحديثات OWASP Top 10 لعام 2025 تعكس فهمًا متطورًا لكيفية استخدام تقنيات الذكاء الاصطناعي في السيناريوهات الحقيقية. من المهم أن نلاحظ أنه هناك العديد من المخاطر أكثر من عشرة مخاطر للذكاء الاصطناعي، ولكن الهدف هو تحديد العشرة الأولى. التغييرات الكبيرة هي LLM07 تصميم البرنامج الخاطئ تم تضمينه في سلسلة التوريد، و LLM010 سرقة النموذج تم تضمينه في الاستهلاك غير المقيد للقائمة لعام 2025، مما خلق فرصة لإضافة:

1. تسرب إشارات النظام الذي يحدد تهديد كشف إشارات النظام يمكن أن يكشف عن الحواجز، أو تدفقات المنطق، أو حتى الأسرار المضمنة في إشارات الذكاء الاصطناعي.

2. ثغرات قاعدة البيانات التي تُحِد المشاكل الأمنية المحتملة في أنظمة RAG مثل تسرب البيانات بين الإيجارات، أو عكس تركيبة المستندات، أو وثائق مسمومة التي تظهر فيما بعد خرجًا خطيرًا.

3. التحديثات تُظهر أن الهجمات التي تستهدف الذكاء الاصطناعي تطورت من هجمات البرنامج الخاطئ إلى هجمات أكثر تعقيدًا تستهدف سلاسل التوريد بأكملها. الهجمات الحديثة تُظهر التفكير الاستراتيجي لنظام الذكاء الاصطناعي بأكمله، مع التركيز على الاستمرارية، والانتشار، والآثار النظامية بدلاً من الاستغلالات الفردية.

التغطية الموسعة للархيتكتур الوكيلية تعترف بتحول آخر حرج. مع اكتساب أنظمة الذكاء الاصطناعي استقلالية واتخاذ القرارات، تُضاعف عواقب فشل الأمن بشكل كبير. تقليل الرقابة البشرية، مع تمكين التطبيقات الأكثر قوة، له تأثير مركب يزيد من تأثير الهجمات الناجحة.

ما هي أكثر الثغرات الأمنية التي يتم تجاهلها بشكل شائع في المؤسسات التي تعتمد الذكاء الاصطناعي الوكيل؟

أكثر مشكلة يتم تجاهلها هي نفس التحدي الذي نواجهه مع توزيع البرامج والتطبيقات التقليدية، وهو مبدأ الامتياز الأدنى. ما زلنا نناضل مع الامتياز الأدنى للمستخدمين البشريين و حسابات الخدمة، والآن تواجه المنظمات تحديًا جديدًا في إدارة الهويات غير البشرية (NIH). الناس يُطيعون الوكلاء بينما لا يزال تحديد هوية الوكيل ووصولها غير مفهوم أو محلول. نرى الوكلاء الذين حصلوا على صلاحيات واسعة لقراءة المستندات، وصول إلى واجهات برمجة التطبيقات الخارجية، وتعديل الأنظمة. هذا ليس عيبًا فنيًا في النموذج نفسه، إنه خطأ بنيوي أساسي. يمكن لوكيل معرض مع امتيازات زائدة أن يسبب فوضى، من سرقة كميات هائلة من البيانات إلى إجراء معاملات مالية.

مشكلة أخرى غالبًا ما يتم تجاهلها أو تجاهلها هي “علاقة الثقة” بين الوكلاء. في الأنظمة الوكيلية، يتم تصميم الوكلاء للتواصل والتعاون مع بعضهم البعض. نرى فئة جديدة من الهجمات حيث يمكن لوكيل معرض أن يتخفي على أنه وكيل شرعي، ويتحول إلى “وكيل في الوسط”. إنه مثل حصان طروادة ولكن على مستوى بنيوي.

يمكنك أن تشرح الخطوات العملية التي يجب أن تتخذها فرق الأمن في المؤسسات عند نشر أدوات الذكاء الاصطناعي الوكيل في بيئات الإنتاج؟

1. ابدأ بخطط الاستجابة للطوارئ. ما هو أسوأ يوم؟ ثم اعمل إلى الوراء لضمان وجود ضوابط أمنية ومراقبة في المكان. عندما يحدث اختراق أمني للذكاء الاصطناعي، يحتاج مركز عمليات الأمن إلى كتاب إرشادات. من يجب إخطاره؟ كيف يتم عزل وكيل معرض؟ ما هي عملية إعادة التثبيت إلى حالة جيدة معروفة؟ من المهم أن يكون لديك خطة قبل حدوث أزمة.

2. جرد سطح التهديد وتقييم التهديد. لا يمكنك تأمين ما لا تعرف أنك تمتلكه. الخطوة الأولى هي الحصول على جرد كامل لجميع وكلاء الذكاء الاصطناعي، والأدوات في الاستخدام، ووصول البيانات. ما هي البيانات التي يلمسها؟ ما هي الصلاحيات التي يمتلكها؟ ما هو التأثير المحتمل إذا تم اختراقه؟ أعد تقييم الأولويات على أساس التهديدات ذات التأثير العالي والأكثر احتمالاً. ثم قم بحوار صريح مع الفريق التنفيذي حول شهية المخاطر. منافع النشاط المتسارع للذكاء الاصطناعي هو أن مسؤولي الأمن، وضباط المخاطر، وأفراد الفريق القانوني، والقيادة التنفيذية سيُجبرون على إجراء محادثة حقيقية حول الأهداف التجارية، وشهية المخاطر، وميزانيات الأمن. تاريخيًا، كان هناك توقع بلا حوادث مع ميزانية أمنية محدودة. تمكنت مسؤولي الأمن (بشكل عام) من تجنب حادث كبير من خلال تنفيذ ما يكفي من الأمن لجعل منظمتك أقل جاذبية من المنظمة التي لديها أقل أمن. يجعل أعداء الذكاء الاصطناعي هذه الاستراتيجية غير واقعية الآن.

3. تنفيذ الحواجز، وامتياز أدنى، وأدوات المراقبة. النطاق مهم ل bất kỳ نشر الوكيل. حدد غرض الوكيل، وحدوده، وامتيازاته. لا تعطِ الوكيل وصولًا إلى مكتبة SharePoint بأكملها إذا كان يحتاج فقط إلى مجلد واحد. قم بتنفيذ ضوابط تحد من واجهات برمجة التطبيقات التي يمكنه الاتصال بها وأفعالها. فكر في الأمر مثل متدرب جديد، ذكي جدًا، ومخمور. تعرف أنه لديه قدرات رائعة، ولكنك لا تثق به. ستحدد ما يمكنه فعله داخل الشركة، لن تعطيه وصولًا إلى أي شيء مهم، ستراقب ما يفعله، وربما لديك أنظمة إنذار في المكان إذا حاول القيام بشيء لا يجب أن يفعله.

4. تنفيذ مكدس أمني مخصص للذكاء الاصطناعي يدمج مع مكدس الأمن التقليدية. أدوات الأمن التقليدية لم تُصمم للأنظمة الجديدة أو الأنظمة الوكيلية. تحتاج إلى تنفيذ أدوات مصممة لمشاكل فريدة من نوعها للذكاء الاصطناعي مثل التحقق من التحفيز، وتنقية الإخراج، ومراقبة مستمرة لسلوك الوكيل. هذه الأدوات تحتاج إلى القدرة على الكشف عن الهجمات الدقيقة القائمة على الدلالات التي هي خاصة بالذكاء الاصطناعي والأنظمة الوكيلية.

5. دمج اختبار التماسك الآلي للذكاء الاصطناعي في خط أنابيب CI/CD. تحتاج إلى اختبار وكلائك باستمرار للثغرات الأمنية بناءً على أهمية التغييرات وشهية المخاطر للمنظمة. تحديث GPT-5 الأخير هو مثال على كيف يمكن أن تكون التغييرات المضطربة لتدفقات العمل الوكيلية. اجعل اختبار التماسك الآلي جزءًا أساسيًا من دورة حياة التطوير. هذا يساعدك على تحديد المشاكل عند تحديث وكلائك.

كيف يجب على المنظمات دمج اختبار التماسك الآلي، و CIAM، وحوكمة RAG، ومراقبة في استراتيجية إدارة المخاطر للذكاء الاصطناعي؟

المفتاح هو التكامل بدلاً من معاملتها كمبادرات منفصلة. استراتيجية إدارة المخاطر للذكاء الاصطناعي تحتاج إلى أن تكون إطارًا متسقًا حيث يعزز كل مكون الآخر.

ابداً باختبار التماسك الآلي كأساس. من المهم أن يكون لديك اختبار عدوى مستمر يتطور مع مشهد التهديد. منصة SPLX تُجري آلاف السيناريوهات الهجومية عبر فئات المخاطر المختلفة، وختبر لحقن التحفيز، والهروب من السجن، وتهيئة السياق، وتسميم الأدوات. الجانب الحرج هو جعل هذا جزءًا من خط أنابيب CI/CD، بحيث يتم التحقق من أمان كل تحديث للوكيل قبل النشر.

CIAM للنظم الوكيلية يتطلب إعادة التفكير في نماذج الهوية التقليدية. وكلاء الذكاء الاصطناعي يحتاجون إلى صلاحيات متعددة يمكن تعديلها ديناميكيًا بناءً على السياق ومستويات المخاطر. قم بتنفيذ التحكم في الوصول القائم على السمات الذي يأخذ في الاعتبار ليس فقط هوية الوكيل، ولكن البيانات التي يتم معالجتها، والأدوات التي يطلب الوصول إليها، والسياق التهديدي.

حوكمة RAG هي أمر بالغ الأهمية. قم بإنشاء تتبع مصدر البيانات لجميع المحتوى المستهلك في مخازن المتجهات. قم بتنفيذ خطوط أنابيب التحقق من المحتوى التي يمكنها الكشف عن أمثلة معادية أو تعليمات خبيثة مضمنة في المستندات.

بالنسبة إلى المراقبة، تحتاج إلى تيليمتري يلتقط كل من المؤشرات الفنية والسلوكية. المراقبة الفنية تشمل تحليل الإدخال والإخراج، ونمط الاتصال ب واجهات برمجة التطبيقات، واستهلاك الموارد. المراقبة السلوكية تركز على جودة القرار، ونمط إكمال المهمة، وسياق التفاعل الذي قد يشير إلى اختراق.

التكامل مهم. يجب أن يُحِد نتائج اختبار التماسك الآلي سياسات CIAM، وأنظمة المراقبة يجب أن تعيد التغذية إلى عمليات حوكمة RAG، وكل هذا يجب أن يُنسق من خلال منصة إدارة المخاطر الشاملة التي يمكنها ربط الإشارات عبر جميع هذه المجالات.

مع استمرار اختراقات الذكاء الاصطناعي في المراحل الأولى ولكنها على وشك النمو، ما هي الاتجاهات التي يجب على قادة الأمن الاستعداد لها خلال الأشهر الـ 12 إلى 18 القادمة؟

أتوقع أن أرى تصاعدًا كبيرًا في هجمات سلسلة التوريد التي تستهدف كل شيء بما في ذلك البنية التحتية للذكاء الاصطناعي. هجمات سلسلة التوريد للذكاء الاصطناعي تُسمم مجموعات البيانات، وتُخترق مستودعات النماذج، أو تُحَقن بالرمز الخبيث في зависимости البرمجية لتحقيق وصول مستمر إلى أنظمة الذكاء الاصطناعي.

هناك بالفعل زيادة في الهندسة الاجتماعية المستقلة مثل حوادث فيشينج Deepfake، ولكن ما يقلقني أكثر هو التطور نحو توليد كامل للحملات الاجتماعية المستقلة عبر منصات متعددة في نفس الوقت، كل منها مخصص لسياقات واهداف محددة، مما يخلق تأثيرًا مضاعفًا لا تستطيع الدفاعات التقليدية مواكبته.

أعتقد أننا سوف نرى صعود الهجمات الأصلية للذكاء الاصطناعي التي تعمل بسرعة الآلة. لا يمكن لأدوات الأمن التقليدية والتحليلات البشرية مواكبة مهاجم يمكنه تنفيذ استغلالات معقدة متعددة المراحل في أجزاء من الثانية.

كيف تتوقع أن تتطور الإطارات التنظيمية والامتثال استجابة لمخاطر الذكاء الاصطناعي؟

أتوقع تحولًا كبيرًا في الإطارات التنظيمية، مع التركيز على المساءلة، والشفافية، وممارسات التطوير الآمن، وأمان سلسلة التوريد.

أتوقع أن نرى تركيزًا على مصدر البيانات والسلامة. ستريد الهيئات التنظيمية أن تعرف من أين جاءت البيانات المستخدمة لتدريب ونشر نماذج الذكاء الاصطناعي. سيريدون رؤية دليل على أن البيانات تم تنظيفها، أنها لم تكن تحتوي على معلومات حساسة، أنها لم تُسمم.

أخيرًا، أعتقد أننا سوف نرى لوائح قطاعية محددة. مخاطر مؤسسة مالية تستخدم وكيل الذكاء الاصطناعي لمعالجة المعاملات تختلف عن مخاطر شركة صحية تستخدمه للتشخيص.

سوف تُحدد الهيئات التنظيمية معايير محددة للصناعات الحيوية، مما يتطلب أشياء مثل اختبار التماسك الآلي الآلي، ومراقبة الإنسان في الحلقة، ومراقبة صارمة لأنظمة الذكاء الاصطناعي التي يمكن أن يكون لها عواقب حياة أو موت.

كأستاذ مساعد وعضو مجلس إدارة في معهد بويسي ستيت للسيبرانية الشاملة، كيف تستعد الجيل القادم من محترفي أمن الذكاء الاصطناعي، وما هي المهارات التي ترى أنها الأكثر أهمية في المنظر المتغير الحالي؟

التفكير النقدي وحل المشكلات لا يزالان أهم المهارات التي يحتاجها الطلاب لمسار وظيفي رائع في الأمن السيبراني، ولكن المهارات مثل علم النفس واللغويات، والتي كانت في السابق فقط في فرق استخبارات التهديدات السيبرانية، هي مهارات ستفيد مجموعة متنوعة من أدوار الأمن السيبراني في مستقبل الذكاء الاصطناعي.

مهارات الناس والاتصال مهمة أيضًا. الأمن السيبراني ليس فقط أنظمة تكنولوجيا المعلومات، إنه حول الناس، ومساعدة الشركة على تحقيق أهدافها التجارية، والقدرة على ترجمة وتواصل المخاطر الفنية المعقدة مع أصحاب المصلحة غير التقنيين حتى يتخذوا القرارات الصحيحة للشركة. مستقبل الأمن السيبراني سوف يعتمد على محترفين ليس فقط ذوي الخبرة الفنية، ولكن أيضًا أرضيين ومهارات اتصال ماهرة.

أخيرًا، منظر أمن الذكاء الاصطناعي يتطور بسرعة، لذلك سوف يكون من المهم أن تكون قادرًا على التعلم والتكيف بسرعة.

شكرًا على المقابلة الرائعة والرؤية المفصلة، القراء الذين يرغبون في معرفة المزيد يجب أن يزوروا SPLX.