مقابلات
جوناثان زانجر، كبير مسؤولي التكنولوجيا في شيك بوينت – سلسلة المقابلات
أضف Unite.AI إلى مصادرك المفضلة على Google
جوناثان زانجر، كبير مسؤولي التكنولوجيا في شيك بوينت، يأتي بتركيبة فريدة من الخبرة العسكرية الاستخباراتية النخبة، والخبرة العميقة في الذكاء الاصطناعي، والقيادة التشغيلية عبر الشركات الناشئة والشركات العالمية. قبل توليه منصبه الحالي، شغل منصب كبير مسؤولي التكنولوجيا في ترايجو، حيث قاد تطوير أنظمة الذكاء الاصطناعي والرؤية الحاسوبية من الجيل التالي التي تمكّن من البيع الخالي من الاحتكاك والمنع على نطاق واسع، مع محاذاة المنتج والبحث والتطوير مع التوزيع التجاري في العالم الحقيقي.
شيك بوينت سوفتوير تكنولوجيز هي شركة رائدة عالميا في مجال الأمن السيبراني، وتوفر حلولا أمنية مدفوعة بالذكاء الاصطناعي وتسليمها عبر السحابة، مصممة لحماية الشركات والحكومات من التهديدات الرقمية المتطورة بشكل متزايد. توفر الشركة خدمات لأكثر من 100000 منظمة في جميع أنحاء العالم من خلال منصة شاملة تحمي الشبكات والبيئات السحابية والنقاط النهائية والمستخدمين من خلال نهج منع أولي يهدف إلى وقف الهجمات قبل حدوثها.
(CHKP )لقد قادت مبادرات أمنية وأمنية على نطاق واسع، وبنت أنظمة مدفوعة بالذكاء الاصطناعي في ترايجو، والآن تُشرف على استراتيجية الذكاء الاصطناعي في شيك بوينت. ما هي النماذج الفاشلة المحددة التي لاحظتها عند انتقال أنظمة الذكاء الاصطناعي من البيئات المراقبة إلى الإنتاج، خاصة عند منحهم الوصول إلى الأدوات والبيانات المؤسسية؟
يتغير شيءان بشكل جوهري في الإنتاج. أولاً، يتحول الحجم الحدي إلى أحداث يومية. معدل إيجابيات كاذبة بنسبة 0.1٪ يبدو رائعًا في المختبر، ولكن عندما تكون معالجة ملايين التفاعلات، يترجم ذلك إلى آلاف الحوادث التي تحتاج إلى الانتباه. يصبح الأحداث الإحصائية في الاختبار واقعًا تشغيليًا في النطاق.
ثانياً، الإنتاج يعني التعرض للعدو. في بيئة خاضعة للرقابة، تكون المدخلات لطيفة ومتنبئة. في العالم الحقيقي، بعض المستخدمين والمتحرضين سيحاولون عمدًا خداع النظام، مستغلين كل قناة بيانات غير موثوقة متاحة لتحريف السلوك. الانتقال من العرض إلى الإنتاج ليس مشكلة في التوسع. إنه تحول من بيئة تعاونية إلى بيئة محتلة، ويتطلب ذلك افتراضات تصميم مختلفة بشكل جوهري.
في الأنظمة الوكيلية، حيث يمكن للأدلة الاتصال بالواجهات البرمجية وتشغيل التعليمات والربط الإجراءات، ما هي أكثر الأسطح الهجومية حساسية التي لا تزال فرق الأمن غير مجهزة لها بشكل كاف؟
السطح الحرج الذي يقلل منه معظم الفرق هو البيانات نفسها. الأنظمة الوكيلية تصل عادة إلى مصادر بيانات غير موثوقة – البريد الوارد، والمواقع الإلكترونية، وتذاكر جيرا، والرمز المفتوح، والوثائق الخارجية. يتم استهلاك هذه البيانات وتحليلها بواسطة النماذج كجزء من عملية التفكير.
هذا يخلق اثنان من مخاطر ملموسة. أولاً، تسمم الذاكرة – حيث تشكل المحتوى المُدبر بشكل خفي استجابات النموذج وقراراته في المستقبل دون أي حقن واضح للتحفيز. ثانياً، حقن التحفيز غير المباشر – حيث يتم تضمين تعليمات معادية في تلك البيانات الخارجية وتفكيك الوكيل بشكل فعال من الداخل. لا يلمس المهاجم الحقن مباشرة. يزرع فقط تعليمات حيث سيجد الوكيلها.
غالبًا ما يتم وصف حقن التحفيز على أنه مشكلة نموذجية، ولكن في الممارسة يصبح مشكلة على مستوى النظام. كيف يجب على الشركات إعادة تصميم هيكلها لتنعزل مدخلات النموذج، وتشغيل الأداة، ووصول البيانات الحساسة؟
حقن التحفيز ليس مشكلة عالمية لها حل عالمي. ما إذا كان مدخل معين شرعيًا أو معاديًا يعتمد كليًا على السياق. السؤال عن وكيل لتحديث كلمة المرور الإدارية هو أمر مشروع تمامًا إذا كان وكيلًا فنيًا لمكتب المساعدة. نفس الطلب إلى وكيل تطبيق تجاري هو هجوم.
هذا هو السبب في أن الهيكل المعماري يهم أكثر من أي تقنية كشف واحدة. تحتاج الأنظمة إلى آليات حتمية ولامعرفية تعمل معًا. تتحكم الآليات الحتمية في الوصول إلى الأدوات والبيانات بناءً على هوية الوكيل، وهوية المستخدم، والدور المحدد للنظام. تُضيف الآليات اللامعرفية القائمة على النماذج القدرة على فهم اللغة والسياق والقصد. تحتاج إلى كلا الطبقات – تنفيذ سياسة قوي وعقلاني سياقي – لأن أيًا منهما لا يكفي بمفرده.
يعتمد العديد من وكلاء الذكاء الاصطناعي على التوليد المعزز بالاسترجاع ومصادر البيانات الخارجية. ما هي المخاطر حول تسميم البيانات وتهيئة التلاعب في هذه الأنابيب، وكيف يمكن تقليلها في وقت التشغيل؟
تختلف المخاطر حسب اتجاه تدفق البيانات. لمصادر البيانات الداخلية، المخاطر الرئيسية هي تسرب البيانات الحساسة – كشف المعلومات الشخصية، ومشاركة البيانات عبر العملاء، ورفع المعلومات الداخلية إلى أطراف غير مخولة. لمصادر البيانات الخارجية، تتضمن المخاطر انحياز النموذج من المعلومات غير المصدق عليها، وحقن التحفيز غير المباشر المضمن في المحتوى المستعاد، والاعتماد على مصادر غير موثوقة أو مُدبرة.
يجب أن تحدث التحفيز على مستوى المعاملة، في الوقت الفعلي. كل تفاعل وكيلي يجب تأمينه في كلا الاتجاهين: ضمان عدم تسرب البيانات الحساسة من الداخل إلى الخارج، وضمان عدم تغذية المعلومات المسمومة أو المعادية إلى النظام أو النموذج. لا يمكن حل هذه المشكلة في وقت الاستهلاك فقط لأن السياق ديناميكي ومحيط التهديد يتغير باستمرار.
يقدم طائرة الدفاع عن الذكاء الاصطناعي طبقة تحكم موحدة عبر استخدام الذكاء الاصطناعي للموظفين، والتطبيقات، والأنظمة الوكيلية. ما كانت أكبر التحديات الهندسية في بناء نظام يمكنه ملاحظة وتنفيذ السياسة عبر حزمة الذكاء الاصطناعي المُجزأة؟
نعتقد أن حمولة الوكيل سوف تمتد في المستقبل القريب إلى النقاط النهائية، والتطبيقات، وخدمات السحابة، وخدمات الحوسبة السحابية – كلها متصلة ببعضها البعض في ما نسميه “إنترنت الوكلاء”. الفكرة وراء طائرة الدفاع عن الذكاء الاصطناعي هي اكتشاف وحوكمة وحماية هذه البنية الوكيلية المؤسسية المتطورة في إطار واحد.
التحدي الهندسي الرئيسي هو تقييم ملف المخاطر والسياق الخاص بكل وكيل ديناميكيًا، وتطوير حماية فعلية في الوقت الفعلي لكل معاملة وكيلية. هذا يعني الحفاظ على معدلات حجب عالية ضد التهديدات الحقيقية مع تقليل الإيجابيات الكاذبة – في سرعة الإنتاج ومداه، عبر بيئات تشغيل متعددة. بناء نظام يمكنه ملاحظة وتنفيذ السياسة بشكل متسق عبر حزمة الذكاء الاصطناعي المُجزأة والمتطورة بسرعة يتطلب منا إعادة التفكير في كيفية تمثيل وقييم نشاط الذكاء الاصطناعي على مستوى أساسي.
المنصة تُشدد على اتخاذ القرارات في الوقت الفعلي على مستوى الآلة عبر اللغات والعمليات. كيف تُحقق بين قيود التأخير وضرورة الفحص العميق والتحكم في الأفعال المُدفوعة بالذكاء الاصطناعي في بيئات الإنتاج؟
نطور ونُدرّب نماذج أساسية خصيصًا لمنع التهديدات، ثم نستخدم تقنيات التقطير لجعلها فعالة للغاية. هذا يسمح لنا بتشغيل الاستدلال بسرعة وبدقة مع الحد الأدنى من الحوسبة – حتى على وحدات المعالجة المركزية أو وحدات معالجة الرسومات الشائعة – مع الحفاظ على تغطية متعددة اللغات ومتعددة الأشكال، بما في ذلك تحليل الصور والصوت، بدقة قصوى.
هذا النهج يسمح لنا بفحص معاملات الوكيل بشكل عميق دون أن نصبح عائقًا. الأمن الذي يُroduce تأخيرًا غير مقبول سوف يتم تجاوزه. الأمن الذي يكون خفيًا للعملية ولكنه ينفذ ضوابط معنوية هو ما يتم نشره ويبقى مفعلًا.
تُشغل وكلاء الذكاء الاصطناعي بشكل متزايد بتصريحات تفويضية عبر أنظمة متعددة. كيف يجب على المنظمات إعادة التفكير في إدارة الهوية والوصول للجهات غير البشرية، خاصة عند توسيع الوكلاء نطاقهم بشكل ديناميكي من خلال استخدام الأدوات؟
الخطأ الذي تُرتكبه معظم المنظمات هو معاملة وكلاء الذكاء الاصطناعي إما كمُمتدات لمستخدمي البشر أو كحسابات خدمة تقليدية. لا يتناسب أي من هذين النموذجين. فكر فيهم كموظفين رقميين – كيانات لها أدوار ومسؤوليات وحدود محددة.
يجب تحديد هوية الوكيل بثلاثة أبعاد: سير العمل المحدد الذي ينفذه الوكيل، والمستخدم الذي يملك الوكيل أو أنشأه، والمستخدم الذي يتفاعل معه حاليًا. تشكل العوامل الثلاثة جميعها ما يجب السماح للوكيل بالقيام به. علاوة على ذلك، تحتاج المؤسسات إلى تطبيق مبادئ الثقة المعدومة على الوكلاء – لا تفترض مطلقًا الثقة بناءً على الأصل، والتحقق باستمرار من السلوك وفرض الوصول الأقل امتيازًا في كل خطوة. وبدون ذلك، سوف يراكم الوكلاء بصمت سلطة أكبر مما كان يقصده أي شخص.
تتمتع معظم المؤسسات الآن باستخدام الظل للذكاء الاصطناعي عبر الطيارين المساعدين والمكونات الإضافية والبرامج النصية الداخلية. ما هي أدوات القياس عن بعد التي يجب على فرق الأمان جمعها للحصول على رؤية حقيقية لكيفية تفاعل الذكاء الاصطناعي مع البيانات الحساسة؟
يجب أن تعمل الرؤية على مستوى معاملة الوكيل – ليس فقط المطالبات والاستجابات، ولكن أيضًا استدعاءات الأدوات، والبيانات التي يتم إرجاعها بواسطة تلك الأدوات، والإجراءات المتخذة نتيجة لذلك. تحتاج فرق الأمان إلى رؤية السلسلة الكاملة: ما هو المطلوب، وما هي البيانات التي تم الوصول إليها، وما هي الأدوات التي تم استدعاؤها، وما هي المعلمات التي تم تمريرها، وما حدث بعد ذلك.
وبدون القياس عن بعد على مستوى المعاملة، لا يمكنك الإجابة على الأسئلة الأساسية حول التعرض أو سوء الاستخدام أو التأثير. Shadow AI ليس خطيرًا لأنه موجود. إنه أمر خطير لأنه يعمل بدون هذا المستوى من الإدارة أو البصيرة.
تختلف أنظمة وكيل الفريق الأحمر اختلافًا جوهريًا عن اختبار التطبيقات الثابتة. كيف يمكنك محاكاة السلوك العدائي عبر سير العمل متعدد الخطوات، وما هي أنواع الثغرات التي يتم اكتشافها بشكل شائع؟
نحن نقوم بتشغيل Gandalf (https://gandalf. lakera. ai)، وهو أكبر تمرين لفريق الذكاء الاصطناعي في العالم. إنها منصة ذات مصادر جماعية حيث يحاول المستخدمون الحقيقيون إقناع عملاء الذكاء الاصطناعي بكسر حواجز الحماية الخاصة بهم. وهذا يمنحنا مجموعة بيانات فريدة ومتنامية باستمرار لتقنيات الخصومة الفعلية – ليست الهجمات النظرية، ولكن الاستراتيجيات التي يستخدمها الأشخاص الحقيقيون للتلاعب بأنظمة الذكاء الاصطناعي.
نحن نستفيد من مجموعة البيانات هذه لتعزيز قدرات الفريق الأحمر لدينا. غالبًا ما تتضمن الهجمات التي نشهدها قيام المستخدمين بإقناع الوكلاء تدريجيًا بانتهاك القيود المفروضة عليهم – من خلال الحقن الفوري غير المباشر، وإعادة الصياغة الإبداعية، والتلاعب بالسياق، واستغلال الثقة المتزايد عبر التفاعلات متعددة الخطوات. تكون هذه المشكلات غير مرئية إذا قمت باختبار المطالبات الفردية فقط. يجب عليك اختبار التسلسلات وحملات الخصومة المستمرة.
مع بدء المهاجمين في استخدام عوامل مستقلة لاستكشاف الأنظمة بشكل مستمر، هل تتوقع أن يتحول الدفاع نحو عناصر التحكم التكيفية في الوقت الفعلي المدفوعة بالذكاء الاصطناعي، وكيف تبدو هذه البنية عمليًا؟
نعم. لا تستطيع الدفاعات الثابتة مواكبة المهاجمين المستقلين الذين يعملون بشكل مستمر. يجب أن يصبح الدفاع قابلاً للتكيف، ومدفوعًا بوقت التشغيل، وآليًا. وهذا يعني المراقبة في الوقت الفعلي لسلوك الذكاء الاصطناعي، والتقييم المستمر للمخاطر والتنفيذ الفوري عند انتهاك السياسات. لن يتم التصدي لسرعة وحجم الهجمات التي يقودها الذكاء الاصطناعي إلا من خلال دفاعات سريعة بنفس السرعة.
ومن الناحية العملية، يصبح الأمن بمثابة حلقة من ردود الفعل وليس مجموعة من القواعد. تتم مراقبة أنظمة الذكاء الاصطناعي وتقييمها وتقييدها ديناميكيًا، بنفس السرعة والنطاق الذي تعمل به. يعد هذا التحول ضروريًا إذا أرادت المؤسسات نشر الذكاء الاصطناعي بأمان على نطاق المؤسسة.
شكرًا لك على المقابلة الرائعة، وعلى القراء الذين يرغبون في معرفة المزيد زيارتها Check Point Software Technologies.
