مقابلات
ساندي دون، مدير أمن المعلومات في SPLX – سلسلة المقابلات
ساندي دون، مدير أمن المعلومات في SPLX هي خبيرة أمنية مع 20+ سنة من الخبرة في مجال الرعاية الصحية والشركات الناشئة، وتقدم استشارات أمن المعلومات من خلال QuarkIQ. وهي تقود قائمة OWASP Top 10 لأمان التطبيقات التي تستخدم الذكاء الاصطناعي وتساهم في مشروع OWASP AI Exchange و OWASP Top 10 للذكاء الاصطناعي والرابطة من أجل أمان السحابة. وهي أستاذة مساعدة في جامعة بويسي ستيت، وتعتبر متحدثة ومدربة ومستشارة في معهد بويسي ستيت للسيبرانيات الشاملة. ساندي حاصلة على ماجستير في إدارة أمن المعلومات من SANS وعدد من الشهادات، بما في ذلك CISSP وعدد من شهادات SANS GIAC و Security+ و ISTQB و FAIR.
SPLX هي شركة أمنية توفر حماية شاملة لأنظمة الذكاء الاصطناعي من خلال اختبار التخريب الآلي وحماية التشغيل والحوكمة وإصلاح الثغرات وفحص التهديدات وأمان النماذج. منصة الشركة تقوم بتشغيل آلاف المحاكاة المعادية في أقل من ساعة لتحديد الثغرات وتقوية التوجيهات قبل النشر وتشمل أداة Agentic Radar مفتوحة المصدر لتحليل المخاطر في تدفقات العمل المتعددة للذكاء الاصطناعي.
ما الذي جذبك إلى تقاطع الذكاء الاصطناعي وأمن المعلومات، وكيف أدى ذلك إلى دورك في SPLX ومشاركتك مع OWASP؟
كان الذكاء الاصطناعي جزءًا من محادثات أمن المعلومات لسنوات قبل ChatGPT، ولكنها غالبًا ما شعرت أنها لم تصل إلى مستوى التوقعات. لذلك، عندما تم إطلاق ChatGPT، توقع أن يكون تحت تأثيره، ولكن بدلاً من ذلك كان له رد فعل معاكس. عندما استخدم ChatGPT لأول مرة، كان لديه رد فعل مزدوج من الإعجاب بما يمكنه فعله والخوف من كيفية استخدامه في الهجمات المعادية أو إساءة استخدام الخصوصية. هذا الحدث أشعل النار. غطست في LLMs بعمق، وقرأت كل ورقة بحثية يمكنني العثور عليها، وشاركت في كل مجتمع Slack و Discord ذي الصلة، و chạyت تجاربي الخاصة. كنت أتجسس لفترة في قناة OWASP Top 10 للذكاء الاصطناعي، وعندما تم نشر القائمة الأولى، عرفت أنها علامة فارقة. ولكن كمسئول أمن المعلومات، شعرت أن فرق الأمن تحتاج إلى مزيد من المعلومات. لقد أخبرنا الناس ما يجب أن يقلقوا منه، ولكن ليس ما يجب عليهم فعله. تقدمت إلى ستيف ويلسون، قائد المشروع، لإنشاء “قائمة التحقق من أمان الذكاء الاصطناعي لمدير أمن المعلومات”. ثم أصبحت أول مشروع فرعي لشركة OWASP GenAI، وهو ما ألهم العديد من المشاريع الفرعية الإضافية.
من خلال هذا العمل، قابلت كريستيان كامبر وأنتي جوساليك (مؤسسي SPLX)، وكذلك استشارة العديد من الشركات الناشئة في مجال أمن الذكاء الاصطناعي، بعضها لديه أفكار واعدة، والبعض الآخر أقل إثارة. في ذلك الوقت، كنت مسؤولاً عن أمن المعلومات في شركة روبوتات دردشة بتو بتو، وأنشأت دليلًا شاملاً لاختبار التخريب المعادي للذكاء الاصطناعي. عندما رأيت عرض SPLX، عرفت على الفور أنهم حلوا المشكلة التي كنت أحاول حلها: كيفية تشغيل اختبار التخريب. عندما احتاجت SPLX إلى مدير أمن المعلومات، قفزت إلى الفرصة للانضمام إلى شركة رائعة مع أشخاص رائعين لحل تحديات مهمة.
كمسؤول أمن المعلومات في SPLX، ما هي أكثر التقنيات الهجومية المبتكرة التي تكتشفها، خاصة فيما يتعلق بالذكاء الاصطناعي العضوي؟
بسبب دقة تصميم أنظمة الذكاء الاصطناعي من الجيل التالي، لا يُعتبر من الممكن القضاء على ثغرات وأخطار الذكاء الاصطناعي التي تستغل استقلالية و قدرات الوكيل. الهجمات مثل MINJA هي مثال حديث على ذلك. مع MINJA، يمكن للمهاجمين تلوث ذاكرة الوكيل بتفاعلات محددة، وزرع “ذكريات” ضارة مع توجيهات تؤدي إلى سلوك خاطئ أو خطير لاحقًا. مثال آخر هو هجوم غرفة الصوت. هذا هو حيث يخلق المهاجم حلقات محادثات عن طريق إرسال وكلاء متكررة سياقات خبيثة. تمكنت الباحثون من تجاوز آليات الأمان عن طريق تعزيز تعليمات ضارة على مدار عدة دورات.
الهجمات الأخرى تشمل حقن التوجيه غير المباشر والتعاون عبر الوضع. تعليمات خبيثة تختبئ في المحتوى الخارجي مثل الصور أو المستندات التي يستهلكها الوكلاء. يمكن لهذه التعليمات اختطاف القرارات المستقلة دون مدخلات مباشرة من المستخدم.
الهجمات على نظام بيئة الوكيل، مثل تلوث الأدوات، تتطلب مراجعة دقيقة لجميع الإمدادات لعمليات نشر الوكيل. يخلق المهاجمون أدوات تبدو شرعية لمنصات الوكيل ولكنها تحتوي على تعليمات خبيثة داخل وصفات الأدوات ووثائقها. عندما يتحمل الوكلاء هذه الأدوات، تصبح التعليمات المضمنة جزءًا من سياق الوكيل، مما يسمح بأفعال غير مصرح بها مثل سرقة البيانات أو اختراق النظام.
كيف تساعد منصة SPLX المنظمات على اكتشاف واستجابة لتهديدات محددة للذكاء الاصطناعي مثل حقن التوجيه أو هجمات الاختراق المعادية؟
SPLX هي منصة أمنية شاملة تحمي التطبيقات التي تعمل بالذكاء الاصطناعي وأنظمة الوكيل المتعددة على مدار دورة حياة الذكاء الاصطناعي بأكملها، من التطوير إلى النشر إلى التشغيل في الوقت الفعلي. حماية وقت تشغيل الذكاء الاصطناعي الخاصة بنا مصممة لوقف هذه التهديدات أثناء حدوثها من خلال مراقبة وتصفية مدخلات ومخرجات متواصلة. تعمل كجدار حماية في الوقت الفعلي للذكاء الاصطناعي وتفرض حدود سلوكية صارمة على الذكاء الاصطناعي. محرك الكشف الديناميكي لمنصة SPLX يحدد النشاط الخبيث في الوقت الفعلي، مما يضمن استجابة أنظمة الذكاء الاصطناعي بأمان وتبقى داخل الحدود المحددة.
كيف تعكس التهديدات الجديدة في قائمة OWASP Top 10 المحدثة للذكاء الاصطناعي من الجيل التالي تحول المناظر الهجومية؟
التحديثات الخاصة بقائمة OWASP Top 10 لعام 2025 تعكس فهمًا متطورًا لكيفية استخدام الذكاء الاصطناعي في السيناريوهات الواقعية. من المهم الإشارة إلى أن هناك العديد من التهديدات أكثر من عشرة تهديدات للذكاء الاصطناعي، ولكن الهدف هو تحديد العشرة الأوائل. التغييرات الكبيرة هي LLM07 تصميم البرنامج الخبيث تم تضمينه في سلسلة التوريد و LLM010 سرقة النموذج تم تضمينه في استهلاك غير مقيد للقائمة لعام 2025، مما خلق فرصة لإضافة:
1. تسرب التوجيه النظامي الذي يحدد تهديد كشف التوجيه النظامي يمكن أن يكشف عن الحواجز أو تدفقات المنطق أو حتى الأسرار المضمنة في توجيهات الذكاء الاصطناعي.
2. تهديدات قاعدة بيانات المتجهات التي تُحذّر من القضايا الأمنية المحتملة داخل أنظمة RAG مثل تسرب البيانات بين المستأجرين أو عكس التضمين أو وثائق مسمومة التي تظهر في النهاية مخرجات خطيرة.
3. تُظهر التحديثات تطور الهجمات التي تستهدف الذكاء الاصطناعي من الهجمات المحددة إلى هجمات أكثر تعقيدًا تستهدف سلاسل التوريد بأكملها. الهجمات الحديثة تُظهر التفكير الاستراتيجي للنظام بأكمله، مع التركيز على الاستمرارية والتوسع والآثار النظامية بدلاً من الاستغلالات الفردية.
التغطية الموسعة للархيتكتур العضوية تعترف بتطورًا حاسمًا آخر. مع اكتساب أنظمة الذكاء الاصطناعي استقلالية و قدرات اتخاذ القرار أكبر، تزداد عواقب فشل الأمان بشكل كبير. تقليل الرقابة البشرية، مع تمكين تطبيقات أكثر قوة، له تأثير مركب يضخم من تأثير الهجمات الناجحة.
ما هي أكثر الثغرات الشائعة التي يتم تجاهلها في المؤسسات التي تعتمد الذكاء الاصطناعي العضوي اليوم؟
المشكلة الأكثر إهمالا هي نفس التحدي الذي نواجهه مع عمليات النشر التقليدية والنظم، وهو مبدأ الامتياز الأدنى. ما زلنا نناضل من أجل الامتياز الأدنى مع المستخدمين البشريين و حسابات الخدمة، والآن تواجه المنظمات تحديًا جديدًا في إدارة الهويات غير البشرية (NIH). الناس ينشرون وكلاء مع امتيازات واسعة النطاق للوصول إلى المستندات وواجهات برمجة التطبيقات الخارجية و حتى تعديل الأنظمة. هذا ليس خطأ تقني في النموذج نفسه، إنه خطأ بنيوي أساسي. وكيل معرض مع امتيازات زائدة يمكن أن يسبب فوضى، من سرقة كميات هائلة من البيانات إلى إجراء معاملات مالية.
مشكلة أخرى غالبًا ما يتم تجاهلها أو تجاهلها هي “علاقة الثقة” بين الوكلاء. في أنظمة الوكيل، يتم تصميم الوكلاء غالبًا للتواصل والتعاون مع بعضهم البعض. نشهد فئة جديدة من الهجمات حيث يمكن لوكيل معرض أن يتخفي على وكيل شرعي، مما يجعله “وكيل في الوسط”. إنه مثل حصان طروادة ولكن على مستوى معماري.
يمكنك أن تشرح الخطوات العملية التي يجب على فرق أمن المؤسسات اتخاذها عند نشر أدوات الذكاء الاصطناعي العضوي في بيئات الإنتاج؟
1. ابدأ بخطط الاستجابة للطوارئ. ما هو أسوأ سيناريو يمكن حدوثه، ثم اعمل بعكس ذلك لضمان وجود ضوابط أمنية ومراقبة. عندما يحدث اختراق للذكاء الاصطناعي، مركز عمليات الأمن لديك بحاجة إلى سيناريو. من يجب إخطاره؟ كيف يمكن عزل وكيل معرض؟ ما هي عملية التراجع إلى حالة جيدة معروفة؟ وجود خطة قبل حدوث أزمة أمر حيوي.
2. جرد مساحة الهجوم وتقييم التهديد. لا يمكنك حماية ما لا تعرف أنك تمتلكه. الخطوة الأولى هي الحصول على جرد كامل لجميع وكلاء الذكاء الاصطناعي والأدوات المستخدمة ووصول البيانات. ما البيانات التي يلمسها؟ ما هي الأذونات التي لديها؟ ما هو التأثير المحتمل إذا تم اختراقه؟ أعد ترتيب الأولويات وفقًا للتهديدات ذات التأثير الكبير والأكثر احتمالاً. ثم قم بحوار صريح مع الفريق التنفيذي حول شهية المخاطر. من المفيد أن يكون هناك نشاط متسارع في الذكاء الاصطناعي، حيث سيتعين على مسؤولي أمن المعلومات وضباط المخاطر وأفراد الفريق القانوني والقيادة التنفيذية إجراء محادثة حقيقية حول الأهداف التجارية وشهية المخاطر وميزانيات الأمن. تاريخيًا، كان هناك توقع بوجود حوادث قليلة مع ميزانية أمنية محدودة. تمكنت مسؤولي أمن المعلومات (معظمهم) من تجنب حادث كبير من خلال تنفيذ أمان كافٍ لجعل منظمتهم أقل جاذبية من المنظمة التي لديها أمان أقل. يجعل الهجمات التي تستخدم الذكاء الاصطناعي هذا الاستراتيجية غير واقعية الآن.
3. قم بتنفيذ الحواجز وامتياز أدنى وأدوات المراقبة. النطاق مهم لعمليات نشر الوكيل. حدد غرض الوكيل، حدوده، وأذوناته. لا تعطِ وكيلًا وصولًا إلى مكتبة SharePoint الخاصة بك إذا كان يحتاج فقط إلى مجلد واحد. قم بتنفيذ ضوابط تحد من واجهات برمجة التطبيقات التي يمكنه الاتصال بها وأفعاله. فكر في الأمر مثل موظف جديد، ذكي، مخمور. تعرف أن لديه قدرات رائعة، لكنك لا تثق به. ستحد من ما يمكنه فعله داخل الشركة، لن تعطيه وصولًا إلى أي شيء مهم، ستراقب ما يفعله، وربما لديك أنظمة إنذار إذا حاول القيام بشيء لا يجب عليه فعله مثل الوصول إلى مكتب الرئيس التنفيذي.
4. قم بتنفيذ حزمة أمنية محددة للذكاء الاصطناعي التي تدمج مع حزمة الأمان التقليدية. أدوات الأمان التقليدية لم تُصمم لأنظمة الذكاء الاصطناعي أو أنظمة الوكيل. عليك تنفيذ أدوات مصممة لمشاكل فريدة من نوعها للذكاء الاصطناعي مثل التحقق من التوجيه وتنقية المخرجات ومراقبة سلوك الوكيل بشكل مستمر. هذه الأدوات يجب أن تكون قادرة على كشف الهجمات الدقيقة القائمة على الدلالات التي هي خاصة بالذكاء الاصطناعي وأنظمة الوكيل.
5. ادمج اختبار التخريب الآلي للذكاء الاصطناعي في خط أنابيب CI/CD. عليك اختبار وكلائك بشكل مستمر للثغرات بناءً على مدى التغييرات وشهية المخاطر للمنظمة. تحديث GPT-5 الأخير هو مثال على كيفية أن تكون التغييرات المضطربة على تدفقات العمل للوكلاء. اجعل اختبار التخريب الآلي جزءًا أساسيًا من دورة تطويرك. هذا يساعدك على تحديد القضايا عند تحديث وكلائك.
كيف يجب على المنظمات دمج اختبار التخريب الآلي الآلي و CIAM وحوكمة RAG ومراقبة في استراتيجية إدارة المخاطر للذكاء الاصطناعي؟
المفتاح هو التكامل بدلاً من معاملتهم كمبادرات منفصلة. استراتيجية إدارة المخاطر للذكاء الاصطناعي تحتاج إلى أن تكون إطارًا متناسقًا حيث يعزز كل مكون الآخر.
ابدأ باختبار التخريب الآلي الآلي كأساس. من المهم أن يكون هناك اختبار تخريبي مستمر يتطور مع مناظر التهديد. منصة SPLX ت模ل آلاف السيناريوهات الهجومية عبر فئات المخاطر المختلفة، واختبار حقن التوجيه والهروب من السجن وتلاعب السياق وتسميم الأدوات. الجانب الحاسم هو جعل هذا جزءًا من خط أنابيب CI/CD الخاص بك بحيث يتم التحقق من أمان كل تحديث للوكيل قبل النشر.
CIAM لأنظمة الذكاء الاصطناعي يتطلب إعادة التفكير في نماذج الهوية التقليدية. وكلاء الذكاء الاصطناعي يحتاجون إلى أذونات دقيقة يمكن تعديلها ديناميكيًا بناءً على السياق ومستويات المخاطر. قم بتنفيذ التحكم في الوصول القائم على السمات الذي يأخذ في الاعتبار ليس فقط هوية الوكيل، ولكن البيانات التي يتم معالجتها والأدوات التي يطلب الوصول إليها والسياق الهجومي.
حوكمة RAG حاسمة بشكل خاص. قم بإنشاء تتبع مصدر البيانات لجميع المحتوى المبتلع في مخازن المتجهات. قم بتنفيذ خطوط أنابيب التحقق من المحتوى التي يمكنها كشف الأمثلة المعادية أو التعليمات الخبيثة المضمنة في المستندات.
من أجل المراقبة، تحتاج إلى تيليمتري يلتقط كل من المؤشرات الفنية والسلوكية. المراقبة الفنية تشمل تحليل مدخلات ومخرجات ونمط الاتصال واجهات برمجة التطبيقات واستهلاك الموارد. المراقبة السلوكية تركز على جودة القرار ونمط إكمال المهمة وسياق التفاعل الذي قد يشير إلى اختراق.
التكامل مهم. يجب أن يُشير نتائج اختبار التخريب إلى سياسات CIAM، وينبغي أن تُغذي أنظمة المراقبة إلى عمليات حوكمة RAG، وكل هذا يجب تنسيقه من خلال منصة إدارة المخاطر المؤسسية المركزية التي يمكنها ربط الإشارات عبر جميع هذه المجالات.
مع استمرار انتهاكات أمان الذكاء الاصطناعي في المراحل الأولى ولكنها على وشك النمو، ما هي الاتجاهات التي يجب على قادة الأمن الاستعداد لها خلال الأشهر 12 إلى 18 القادمة؟
أتوقع أن نشهد تصاعدًا كبيرًا في هجمات سلسلة التوريد التي تستهدف كل شيء بما في ذلك البنية التحتية للذكاء الاصطناعي. هجمات سلسلة التوريد للذكاء الاصطناعي تلوث مجموعات البيانات، وتعرض مستودعات النماذج، أو تعرض شفرة خبيثة إلى الاعتماديات البرمجية لتحقيق الوصول الدائم إلى أنظمة الذكاء الاصطناعي.
هناك بالفعل زيادة في الهندسة الاجتماعية المستقلة مثل حوادث الفيشينج بالصوت العميق، ولكن التطور نحو توليد كامل مستقل هو ما يقلقني أكثر. وكلاء الذكاء الاصطناعي يديرون حملات هندسة اجتماعية كاملة عبر منصات متعددة في نفس الوقت، كل منها مخصص لtargets محددة وسياقات، مما يخلق تأثيرًا مضاعفًا لا تستطيع الدفاعات التقليدية مواكبته.
أعتقد أننا سنتابع ظهور هجمات الأمان الأصلية التي تعمل بسرعة الآلة. أدوات الأمان التقليدية وanalysts البشرية لا تستطيع مواكبة مهاجم يمكنه تنفيذ استغلالات معقدة متعددة المراحل في مللي ثانية.
كيف تتوقع أن تتطور الإطارات التنظيمية والامتثال استجابة لمخاطر الذكاء الاصطناعي؟
أتوقع تحولًا كبيرًا في الإطارات التنظيمية، مع التركيز على المساءلة والشفافية وممارسات التطوير الآمن وسلامة سلسلة التوريد.
أتوقع أن نرى تركيزًا على مصدر البيانات وصدقها. سيريد الهيئات التنظيمية معرفة من أين أتت البيانات المستخدمة لتدريب ونشر نماذج الذكاء الاصطناعي. سيريدون رؤية دليل على أن البيانات قد تم تطهيرها، أنها لم تكن تحتوي على معلومات حساسة، أنها لم تُسمم.
أخيرًا، أعتقد أننا سنتابع ظهور لوائح قطاعية. مخاطر مؤسسة مالية تستخدم وكيل الذكاء الاصطناعي لمعالجة المعاملات تختلف عن تلك الخاصة بشركة طبية تستخدمه للتشخيص.
ستبدأ الهيئات التنظيمية في تحديد معايير محددة للصناعات الحرجة، مما يتطلب أشياء مثل اختبار التخريب الآلي التلقائي ومراقبة الإنسان في الحلقة ومراجعة صارمة لأنظمة الذكاء الاصطناعي التي يمكن أن يكون لها عواقب حياة أو موت.
كأستاذ مساعد وعضو مجلس إدارة في معهد بويسي ستيت للسيبرانيات الشاملة، كيف تستعد الجيل القادم من محترفي أمن الذكاء الاصطناعي، وما هي المهارات التي ترى أنها الأكثر أهمية في المناظر المتطورة اليوم؟
الاستدلال والتفكير النقدي هما لا يزالان المهارات الأكثر أهمية التي يحتاجها الطلاب لمسار واعد في أمن المعلومات، ولكن المهارات مثل علم النفس واللغويات، التي كانت في السابق فقط ضمن فرق استخبارات التهديدات السيبرانية، هي مهارات ستفيد مجموعة متنوعة من أدوار أمن المعلومات في مستقبل الذكاء الاصطناعي.
المهارات الشخصية والتواصل مهمة أيضًا. أمن المعلومات هو أكثر من الأنظمة التكنولوجية، إنه حول الناس، مساعدة الشركة على تحقيق أهدافها التجارية، والقدرة على ترجمة وتواصل المخاطر الفنية المعقدة مع أصحاب المصلحة غير التكنولوجيين بحيث يمكنهم اتخاذ القرارات الصحيحة للشركة. مستقبل أمن المعلومات سيعتمد على محترفين ليسوا فقط ذوي كفاءة فنية، ولكن أيضًا متأصلين ومت沟ين.
أخيرًا، مناظر أمن الذكاء الاصطناعي تتطور بسرعة كبيرة، لذلك سيكون من المهم القدرة على التعلم والتكيف بسرعة.
شكرًا على المقابلة الرائعة والرؤى المفصلة، القراء الذين يرغبون في معرفة المزيد يجب أن يزوروا SPLX.
