د. بيتر جاراغان، الرئيس التنفيذي والتقني والشريك المؤسس في Mindgard – سلسلة المقابلات

د. بيتر جاراغان هو الرئيس التنفيذي والتقني والشريك المؤسس في Mindgard، الشركة الرائدة في اختبار أمان الذكاء الاصطناعي. تأسست في جامعة لانكستر وبدعم من بحوث متقدمة، تمكن Mindgard المنظمات من حماية أنظمتها الذكاء الاصطناعي من Threats جديدة التي لا يمكن أن تتم معالجتها بواسطة أدوات الأمان التقليدية. كأستاذ في علوم الحاسوب في جامعة لانكستر، بيتر هو خبير معترف به دوليًا في أمان الذكاء الاصطناعي. وقد كرّس حياته المهنية لتطوير تقنيات متقدمة لمواجهة Threats المتزايدة التي تواجه الذكاء الاصطناعي. مع أكثر من 11.6 مليون يورو في تمويل البحث واكثر من 60 ورقة علمية منشورة، مساهماته تشمل الابتكار العلمي وال حلول العملية.

يمكنك مشاركة قصة تأسيس Mindgard؟ ما الذي دفعك للانتقال من الأكاديمية إلى إطلاق شركة أمان سيبراني؟

ولدت Mindgard من رغبة في تحويل الإلهام الأكاديمي إلى تأثير حقيقي في العالم. كأستاذ متخصص في أنظمة الحاسوب وأمان الذكاء الاصطناعي والتعلم الآلي، لقد دفعني لتعزيز العلوم التي تؤثر على حياة الناس. منذ عام 2014، قمت بالبحث في الذكاء الاصطناعي والتعلم الآلي، معترفًا بإمكاناتهما في تحويل المجتمع – والخطر الهائل الذي ي представونه، من هجمات الدول إلى التأثير على الانتخابات. الأدوات الحالية لم تكن مبنية لمواجهة هذه التحديات، لذلك قادتني فريقًا من العلماء والمهندسين لتطوير نهجًا مبتكرًا في أمان الذكاء الاصطناعي. ظهرت Mindgard كشركة بحثية تركز على بناء حلول ملموسة لحماية ضد Threats الذكاء الاصطناعي، مدمجة بين البحث المتقدم والالتزام بالتطبيق الصناعي.

ما هي التحديات التي واجهتها أثناء تأسيس شركة من جامعة، وكيف تخطيتها؟

تأسست Mindgard رسميًا في مايو 2022، ودعم جامعة لانكستر بشكل كبير، لكن إنشاء شركة من جامعة يتطلب أكثر من مهارات البحث. ذلك يعني جمع رأس المال، وتحسين القيمة المقدمة، وتهيئة التكنولوجيا للعرض – كل ذلك مع توازن دوري كأستاذ. العلماء مدربون على أن يكونوا باحثين ويسعون وراء العلوم الجديدة. تنجح الشركات الناشئة ليس فقط بفضل التكنولوجيا الجذرية، ولكن بمدى جودة تكنولوجيا في تلبية الاحتياجات التجارية الحالية والمستقبلية وتقديم قيمة تجذب وتحافظ على المستخدمين والعملاء.

منتج Mindgard الأساسي هو نتيجة سنوات من البحث والتطوير. يمكنك الحديث عن كيفية تطور المراحل الأولى من البحث إلى حل تجاري؟

الرحلة من البحث إلى حل تجاري كانت عملية متعمدة ومتكررة. بدأت قبل أكثر من عقد من الزمن، مع فريقي في جامعة لانكستر يستكشف التحديات الأساسية في أمان الذكاء الاصطناعي والتعلم الآلي. لقد حددنا نقاط ضعف في أنظمة الذكاء الاصطناعي التي لا يمكن لأدوات الأمان التقليدية، سواء كانت فحص الشفرة أو جدران الحماية، التعامل معها.

بمرور الوقت، تحول تركيزنا من استكشاف البحث إلى بناء نماذج أولية واختبارها في سيناريوهات الإنتاج. بالتعاون مع شركاء الصناعة، لقد رَفَنا نهجنا، مع đảmين أن يلبي الاحتياجات العملية. مع إطلاق العديد من منتجات الذكاء الاصطناعي دون اختبار أمان كاف أو ضمانات، تاركة المنظمات عرضة – وهو vấnة شددت عليها شركة Gartner التي وجدت أن 29% من الشركات التي ت triển khai أنظمة الذكاء الاصطناعي قد أبلغت عن انتهاكات أمان، و chỉ 10% من مدققي الداخليين لديهم رؤية في مخاطر الذكاء الاصطناعي – شعرت أن الوقت مناسب لتحويل الحل إلى منتج تجاري.

ما هي بعض الإنجازات الرئيسية في رحلة Mindgard منذ تأسيسها في 2022؟

في سبتمبر 2023، حصلنا على 3 ملايين جنيه إسترليني في التمويل، بقيادة IQ Capital وLakestar، لتسريع تطوير حل Mindgard. لقد استطعنا تأسيس فريق رائع من القيادات الذين كانوا يعملون في Snyk وVeracode وTwilio لدفع شركتنا إلى المرحلة التالية من رحلتها. نحن فخورون بالاعتراف بنا كأكثر شركة سيبرانية مبتكرة في المملكة المتحدة في معرض Infosecurity Europe هذا العام. اليوم، لدينا 15 موظفًا بدوام كامل، و 10 باحثين دكتوراه (ومن هم في طور التجنيد النشط)، ونحن نبحث عن محللي أمان ومهندسي أمان للانضمام إلى الفريق. في المستقبل، نخطط لتوسيع وجودنا في الولايات المتحدة، مع جولة تمويل جديدة من المستثمرين في بوسطن توفر أساسًا قويًا لهذا النمو.

كما تزداد الشركات الكبيرة اعتمادها على الذكاء الاصطناعي، ما هي أكبر Threats الأمان السيبراني التي تواجهها اليوم؟

الكثير من المنظمات تقلل من مخاطر الأمان المرتبطة بالذكاء الاصطناعي. من الصعب جدًا على غير الخبراء فهم كيف يعمل الذكاء الاصطناعي، ناهيكم عن فهم الآثار الأمنية على أعمالهم. أقضي الكثير من الوقت في إزالة الغموض حول أمان الذكاء الاصطناعي، حتى مع التقنيين المخضرمين الذين يعتبرون خبراء في أمان البنية التحتية وحماية البيانات. في النهاية، الذكاء الاصطناعي لا يزال في الأساس برنامجًا وبيانات تعمل على الأجهزة. لكنه يطرح نقاط ضعف فريدة تختلف عن الأنظمة التقليدية، والتهديدات الناجمة عن سلوك الذكاء الاصطناعي أعلى وأصعب اختبارًا عند مقارنتها ببرامج أخرى.

لقد كشفت عن نقاط ضعف في أنظمة مثل مرشحات المحتوى الذكاء الاصطناعي من مايكروسوفت. كيف تؤثر هذه الاكتشافات على تطوير منصتك؟

نقاط الضعف التي اكتشفناها في خدمة مايكروسوفت Azure AI Content Safety لم تكن حول تشكيل تطوير منصتنا، بل حول إظهار قدراتها.

Azure AI Content Safety هي خدمة مصممة لحماية تطبيقات الذكاء الاصطناعي عن طريق تعديل المحتوى الضار في النصوص والصور والفيديوهات. نقاط الضعف التي اكتشفها فريقنا تتأثر بخدمة التصفية النصية الذكاء الاصطناعي (التي تقوم بحظر المحتوى الضار مثل خطاب الكراهية والمواد الجنسية وغيرها) ودرع التصفية (الذي يمنع اختراقات السجن والحقن القسري). إذا تُركت دون مراقبة، يمكن استغلال هذه النقاط الضعف لإطلاق هجمات أوسع، وتعريض الثقة في أنظمة الذكاء الاصطناعي الجيل الجديد، وتعريض سلامة التطبيقات التي تعتمد على الذكاء الاصطناعي لاتخاذ القرارات ومعالجة المعلومات.

يمكنك شرح أهمية “الاختراق” و “التلاعب بالتحفيز” في أنظمة الذكاء الاصطناعي، ولماذا تشكل تحديًا فريدًا؟

الاختراق هو نوع من نقاط الضعف التي يمكن أن يخترق فيها نظام الذكاء الاصطناعي ويتم استغلاله من قبل ممثل خبيث لتنفيذ أوامر مخالفة لاستخدامه المقصود. المدخلات المعالجة بواسطة أنظمة الذكاء الاصطناعي تحتوي على تعليمات قائمة من قبل مصمم التطبيق ومدخلات غير موثوقة من المستخدم، مما يسمح بهجمات حيث يمكن للمدخلات غير الموثوقة أن تؤثر على تعليمات التطبيق. هذا يشبه إلى حد ما كيف يمكن لثغرة في حقن SQL أن تمكن المدخلات غير الموثوقة من تغيير استعلام قاعدة البيانات. المشكلة هي أن هذه المخاطر يمكن فقط اكتشافها في وقت التشغيل، نظرًا لأن شفرة نظام الذكاء الاصطناعي في الأساس عبارة عن مصفوفة كبيرة من الأرقام في شكل غير قابل للقراءة.

على سبيل المثال، قام فريق أبحاث Mindgard مؤخرًا باستكشاف هجوم اختراق متقدم. يحتوي على رسائل صوتية مخفية داخل المدخلات الصوتية التي لا يمكن اكتشافها من قبل المستخدمين البشر ولكنها معترف بها ومنفذة بواسطة أنظمة الذكاء الاصطناعي. تحتوي كل رسالة مخفية على أمر اختراق مخصص مع سؤال مصمم لسيناريو محدد. في سيناريو محادثة طبية، يمكن أن تؤدي الرسالة المخفية إلى توجيه المحادثة لتقديم تعليمات خطيرة، مثل كيفية合成 الميثامفيتامين، مما قد يؤدي إلى ضرر كبير إذا تم اعتبار رد المحادثة على محمل الجد.

تحدد منصة Mindgard هذه الاختراقات وعدد من نقاط الضعف الأمنية الأخرى في نماذج الذكاء الاصطناعي وطريقة تنفيذها في التطبيقات، بحيث يمكن لقادة الأمان ضمان أن تطبيقاتهم التي تعتمد على الذكاء الاصطناعي مصممة بأمان وتبقى آمنة.

كيف تتعامل منصة Mindgard مع نقاط الضعف عبر أنواع مختلفة من نماذج الذكاء الاصطناعي، من نماذج اللغة إلى الأنظمة متعددة الوسائط؟

تتعامل منصتنا مع مجموعة واسعة من نقاط الضعف داخل الذكاء الاصطناعي، تشمل الحقن، الاختراق، الاستخراج (سرقة النماذج)، العكس (هندسة عكسية للبيانات)، تسرب البيانات، والتهرب (التحايل على الكشف) وغيرها. جميع أنواع نماذج الذكاء الاصطناعي (سواء كانت لغة أو متعددة الوسائط) تظهر قابلية لخطر – الحيلة تكمن في اكتشاف التقنيات المحددة التي تؤدي إلى إنتاج مشكلة أمنية. في Mindgard، لدينا فريق بحث وتطوير كبير يركز على اكتشاف وتنفيذ أنواع هجمات جديدة في منصتنا، بحيث يمكن للمستخدمين البقاء على اطلاع دائم ضد مخاطر متقدمة.

ما هو دور اختبار الفريق الأحمر في حماية أنظمة الذكاء الاصطناعي، وكيف تبتكر منصتك في هذا المجال؟

اختبار الفريق الأحمر هو مكون حاسم في أمان الذكاء الاصطناعي. من خلال محاكاة الهجمات المعادية بشكل مستمر، يحدد اختبار الفريق الأحمر نقاط الضعف في أنظمة الذكاء الاصطناعي، مما يساعد المنظمات على التخفيف من المخاطر وتسريع اعتماد الذكاء الاصطناعي. على الرغم من أهميته، يفتقر اختبار الفريق الأحمر في الذكاء الاصطناعي إلى معايير موحدة، مما يؤدي إلى عدم nhất quánية في تقييم التهديدات واستراتيجيات الإصلاح. هذا يجعل من الصعب تقييم سلامة الأنظمة المختلفة بشكل موضوعي أو تتبع التهديدات بشكل فعال.

للمواجهة هذه التحديات، قدمنا MITRE ATLAS™ Adviser، وهو ميزة مصممة لتوحيد تقارير اختبار الفريق الأحمر وتسهيل ممارسات اختبار الفريق الأحمر النظامية. هذا يسمح للشركات بإدارة المخاطر الحالية بشكل أفضل والاستعداد لتهديدات المستقبل مع تطور قدرات الذكاء الاصطناعي. مع مكتبة شاملة من الهجمات المتقدمة التي طوّرها فريقنا البحثي، تدعم Mindgard اختبار الفريق الأحمر متعدد الوسائط، تغطي نماذج الذكاء الاصطناعي التقليدية والجديدة. منصتنا تتعامل مع المخاطر الرئيسية المتعلقة بالخصوصية والسلامة والاستغلال والتوافر، مما يضمن أن الشركات مجهزة لحماية أنظمتهم الذكاء الاصطناعي بشكل فعال.

كيف ترى منتجك يلائم خط أنابيب MLOps للشركات التي ت triển khai الذكاء الاصطناعي على نطاق واسع؟

تم تصميم Mindgard للاندماج بشكل سلس في آليات التلقين والتشغيل الحالية وجميع مراحل دورة حياة التطوير. يتطلب فقط نهاية نقطة استدعاء أو واجهة برمجة التطبيقات لتكامل النموذج. حلنا الحالي يقوم باختبار الأمان التطبيقي الديناميكي لأنماط الذكاء الاصطناعي (DAST-AI). يمنح عملائنا القدرة على إجراء اختبار أمان مستمر على جميع أنماذج الذكاء الاصطناعي على مدار دورة حياة البناء والشراء. بالنسبة للشركات، يتم استخدامها من قبل شخصيات متعددة. يستخدمها فريق الأمان لاكتساب رؤية وسريع الاستجابة للمخاطر من المطورين الذين يبنيون ويستخدمون الذكاء الاصطناعي، لاختبار وتقييم حواجز واجهة برمجة التطبيقات وأمان الوеб، وتقييم المخاطر بين نماذج الذكاء الاصطناعي المخصصة ونماذج البaseline. يستفيد المحللون الأمنيون والباحثون من Mindgard لتوسيع جهود اختبار الفريق الأحمر للذكاء الاصطناعي، بينما يستفيد المطورون من الاختبار المستمر المتكامل لعمليات نشر الذكاء الاصطناعي.

شكرًا على المقابلة الرائعة، القراء الذين يرغبون في التعلم أكثر يجب أن يزوروا Mindgard.