مقابلات
جوناثان زانجر، كبير مسؤولي التكنولوجيا في شيك بوينت – سلسلة المقابلات
جوناثان زانجر، كبير مسؤولي التكنولوجيا في شيك بوينت، يأتي بتركيبة نادرة من الخبرة العسكرية الاستخباراتية النخبة، والخبرة العميقة في مجال الذكاء الاصطناعي، والقيادة التشغيلية عبر الشركات الناشئة والشركات العالمية. قبل توليه منصبه الحالي، شغل منصب كبير مسؤولي التكنولوجيا في تريغو، حيث قاد تطوير أنظمة الذكاء الاصطناعي والرؤية الحاسوبية من الجيل التالي التي تمكّن التجزئة الخالية من الاحتكاك ومنع الخسائر على نطاق واسع، مع محاذاة المنتج والبحث والتطوير مع التطبيق التجاري الفعلي. في وقت سابق، شغل مناصب قيادية في البحث والتطوير في تريغو وقضى أكثر من عقد من الزمن في وحدة إسرائيلية نخبة، في النهاية ترأس قسمًا للبحث والتطوير السيبراني المسؤول عن مبادرات الاستخبارات والأمن السيبراني على نطاق quốc gia وحصل على اعتراف وطني أعلى لعمله.
شيك بوينت تكنولوجيز هي شركة رائدة عالميًا في مجال الأمن السيبراني، توفر حلول أمنية مدفوعة بالذكاء الاصطناعي وتسليمها عبر السحابة، مصممة لحماية الشركات والحكومات من التهديدات الرقمية المتطورة بشكل متزايد. توفر الشركة خدمات لأكثر من 100000 منظمة في جميع أنحاء العالم من خلال منصة شاملة تأمن الشبكات وبيئات السحابة والنقاط النهائية والمستخدمين من خلال نهج يركز على الوقاية يهدف إلى وقف الهجمات قبل حدوثها. تعتمد هيكلتها المتكاملة على الذكاء الاصطناعي وذكاء التهديد في الوقت الفعلي لتسهيل عمليات الأمن وتقليل المخاطر وتمكين المنظمات من النمو بشكل آمن مع تبنيها للذكاء الاصطناعي وحوسبة السحابة والأنظمة الموزعة.
لقد قادت مبادرات أمنية وذكاء اصطناعي على نطاق واسع، وبنت أنظمة مدفوعة بالذكاء الاصطناعي في تريغو، والآن تُشرّف استراتيجية الذكاء الاصطناعي في شيك بوينت. ما هي أنماط الفشل المحددة التي لاحظتها عند انتقال أنظمة الذكاء الاصطناعي من البيئات المراقبة إلى الإنتاج، خاصة عند منحها وصولًا إلى الأدوات والبيانات الداخلية للشركة؟
يتغير شيءان بشكل أساسي في الإنتاج. أولًا، يتحول الحجم الحرفي إلى أحداث يومية. معدل إيجابية كاذبة بنسبة 0.1 في المائة يبدو ممتازًا في المختبر، لكن عند معالجة ملايين التفاعلات، يترجم ذلك إلى آلاف الحوادث التي تحتاج إلى انتباه. تصبح الظواهر الإحصائية في الاختبار واقعًا تشغيليًا في النطاق.
ثانيًا، الإنتاج يعني التعرض للعدو. في بيئة خاضعة للرقابة، تكون الإدخالات لطيفة ومُتوقعة. في العالم الحقيقي، سيحاول بعض المستخدمين ومتحركي التهديدات بشكل نشط خداع النظام، مستغلين كل قناة بيانات غير موثوقة متاحة لتحريف السلوك. انتقال من العرض التوضيحي إلى الإنتاج ليس مشكلة في التوسع. إنه تحول من بيئة تعاونية إلى بيئة متنازع عليها، ويتطلب ذلك افتراضات تصميم أساسية مختلفة.
في الأنظمة الوكيلية، حيث يمكن للأنموذجات استدعاء واجهات برمجة التطبيقات وتنفيذ التعليمات البرمجية وربط الإجراءات، ما هي أكثر الأسطح الهجومية حساسية التي لا تزال فرق الأمن لا تحسّبها بشكل صحيح؟
السطح الحرج الذي يقلل منه معظم الفرق هو البيانات نفسها. الأنظمة الوكيلية تصل بانتظام إلى مصادر بيانات غير موثوقة – البريد الوارد، والمواقع الإلكترونية، وتذاكر جيرا، والرمز المفتوح، والوثائق الخارجية. يتم استيعاب تلك البيانات وتحليلها بواسطة النماذج كجزء من عملية استدلالها.
يخلق ذلك两个 مخاطر ملموسة. أولًا، تسمم الذاكرة – حيث يؤثر المحتوى المُدبر بشكل خفي على استجابات النموذج وقراراته في المستقبل دون أي حقن واضح للتحفيز. ثانيًا، حقن التحفيز غير المباشر – حيث يتم تضمين تعليمات معادية في تلك البيانات الخارجية وتفكيك النموذج بشكل فعال من الداخل. المهاجم لا يلمس التحفيز مباشرة. إنه يزرع التعليمات حيث سيجدونها الوكيل.
يتم وصف حقن التحفيز غالبًا على أنه مشكلة نموذجية، لكن في الممارسة يصبح مشكلة على مستوى النظام. كيف يجب على الشركات إعادة تصميم هيكلها المعماري لفرز إدخالات النموذج وتنفيذ الأدوات ووصول البيانات الحساسة؟
حقن التحفيز ليس مشكلة عالمية بحل عالمي. ما إذا كان الإدخال معتبرًا أو معاديًا يعتمد كليًا على السياق. سؤال الوكيل عن “تغيير كلمة مرور المسؤول” هو أمر مشروع تمامًا إذا كان وكيلًا فنيًا لمساعدة العملاء. نفس الطلب إلى بوت دردشة بائع عبر الإنترنت هو هجوم.
هذا هو السبب في أن الهيكل المعماري يهم أكثر من أي تقنية كشف معينة. الأنظمة تحتاج إلى آليات حتمية ولامعرفية تعمل معًا. تتحكم الآليات الحتمية في وصول الأدوات والبيانات بناءً على هوية الوكيل، وهوية المستخدم، ودور النظام المحدد. تُضيف الآليات اللامعرفية القائمة على النموذج القدرة على فهم اللغة والسياق والقصد. تحتاج إلى كلا الطبقات – تنفيذ السياسة الصارمة والاستدلال السياقي الذكي – لأن أيًا منهما لا يكفي بمفرده.
يعتمد العديد من وكلاء الذكاء الاصطناعي على التوليد المعزز بالاسترجاع ومصادر البيانات الخارجية. ما هي المخاطر حول تسمم البيانات وتهييج السياق في تلك الأنابيب، وكيف يمكن تقليلها في وقت التشغيل؟
تختلف المخاطر حسب اتجاه تدفق البيانات. لمصادر البيانات الداخلية، المخاطر الرئيسية هي تسرب البيانات الحساسة – كشف المعلومات الشخصية، ومشاركة البيانات عبر العملاء، ومعلومات داخلية يتم إتاحتها لأطراف غير مخولة. لمصادر البيانات الخارجية، تشمل المخاطر انحياز النموذج من المعلومات غير المُتحقق منها، وحقن التحفيز غير المباشر المضمن في المحتوى المستعاد، والاعتماد على مصادر غير موثوقة أو مُدبرة.
يجب أن تحدث التقليل على مستوى المعاملة، في الوقت الفعلي. يجب تأمين كل互одействة وكيلية في كلا الاتجاهين: ضمان عدم تسرب البيانات الحساسة من الداخل إلى الخارج، وضمان عدم تغذية المعلومات المُدبرة أو المعادية إلى النظام أو النموذج. لا يمكن حل هذه المشكلة فقط في وقت الاستيعاب لأن السياق ديناميكي ويتغير مشهد التهديد باستمرار.
يقدم مستوى الدفاع عن الذكاء الاصطناعي طبقة تحكم موحدة عبر استخدام موظفي الذكاء الاصطناعي، والتطبيقات، والأنظمة الوكيلية. ما كانت أكبر التحديات المعمارية في بناء نظام يمكنه ملاحظة وفرض السياسات عبر حزمة الذكاء الاصطناعي المُجزئة؟
نعتقد أنه في المستقبل القريب، ستشمل حمولات الوكيل النقاط النهائية، والتطبيقات، وخدمات السحابة، وعمليات السحابة – كلها متصلة ببعضها البعض في ما نسميه “إنترنت الوكلاء”. الفكرة وراء مستوى الدفاع عن الذكاء الاصطناعي هي اكتشاف وحوكمة وحماية هذه البنية الوكيلية الداخلية المتطورة في إطار واحد.
التحدي المعماري الرئيسي هو تقييم ديناميكي لملف المخاطر والسياق لكل وكيل مع تطوير حماية فعلية لكل معاملة وكيلية. يعني ذلك الحفاظ على معدلات الحظر العالية ضد التهديدات الحقيقية مع تقليل الإيجابيات الكاذبة – عند سرعة الإنتاج ومداه، عبر بيئات تشغيل متعددة. بناء نظام يمكنه ملاحظة وفرض السياسات بشكل متسق عبر حزمة الذكاء الاصطناعي المُجزئة والمتطورة بسرعة يتطلب منا إعادة التفكير في كيفية نمذجة و تقييم نشاط الذكاء الاصطناعي على مستوى أساسي.
يشدد المنصة على اتخاذ القرارات في الوقت الفعلي بسرعة الآلة عبر اللغات والتدفقات العمل. كيف توازن بين قيود التأخير مع الحاجة إلى فحص عميق ومراقبة الإجراءات المدفوعة بالذكاء الاصطناعي في بيئات الإنتاج؟
نطور ونُدرّب نماذج أساسية بشكل خاص لمنع التهديدات، ثم نستخدم تقنيات التقطير لجعلها فعالة للغاية. هذا يسمح لنا بتشغيل الاستدلال بسرعة وبدون حوسبة كبيرة – حتى على وحدات المعالجة المركزية أو وحدات معالجة الرسومات الشائعة – مع الحفاظ على تغطية متعددة اللغات ومتعددة الأوضاع، بما في ذلك تحليل الصور والصوت، بدقة قصوى.
يسمح لنا هذا النهج بفحص المعاملات الوكيلية بعمق دون أن نصبح عائقًا. الأمن الذي يُدخل تأخيرًا غير مقبول سوف يتم تجاوزه. الأمن الذي يكون خفيًا للتدفق العمل لكنه يفرض ضوابط معنوية هو ما يتم تطبيقه ويبقى مطبّقًا.
يعمل وكلاء الذكاء الاصطناعي بشكل متزايد بتصريحات تفويضية عبر أنظمة متعددة. كيف يجب على المنظمات إعادة التفكير في إدارة الهوية والوصول للجهات الفاعلة غير البشرية، خاصة عند توسيع الوكلاء ديناميكيًا نطاقهم من خلال استخدام الأدوات؟
الخطأ الذي تُرتكبه معظم المنظمات هو معاملة وكلاء الذكاء الاصطناعي إما ك_extensions لمستخدمي البشر أو كحسابات خدمة تقليدية. لا يناسب أي من النموذجين. افكر فيهم كموظفين رقميين – كيانات لها أدوار ومسؤوليات وحدود محددة.
يجب تحديد هوية الوكيل بواسطة ثلاثة أبعاد: التدفق العمل الذي ينفذه الوكيل، والمستخدم الذي يمتلك أو أنشأ الوكيل، والمستخدم الذي يتفاعل حاليًا معه. جميع هذه العوامل تشكل ما يجب أن يُسمح للوكيل بفعله. إلى جانب ذلك، تحتاج المنظمات إلى تطبيق مبادئ الثقة الصفرية على الوكلاء – لا تفترض الثقة بناءً على المنشأ، وتأكد باستمرار من السلوك وافرض الوصول بأقل صلاحيات في كل خطوة. دون ذلك، سيتمكن الوكلاء من تجميع السلطة بصمت أكثر من أي نية.
تمتلك معظم الشركات الآن استخدامًا مخفيًا للذكاء الاصطناعي عبر رفقاء الطيران، والإضافات، والسكريبتات الداخلية. ما هي بيانات التелеметري التي يجب على فرق الأمن جمعها لاكتساب رؤية حقيقية حول كيفية تفاعل الذكاء الاصطناعي مع البيانات الحساسة؟
الرؤية تحتاج إلى العمل على مستوى معاملة الوكيل – ليس فقط التحفيزات والاستجابات، ولكن أيضًا استدعاء الأدوات، والبيانات المُرجعة بواسطة تلك الأدوات، والإجراءات المتخذة نتيجة لذلك. تحتاج فرق الأمن إلى رؤية السلسلة الكاملة: ماذا سُئل، ما البيانات التي تم الوصول إليها، ما الأدوات التي تم استدعاؤها، وما المعاملات التي تم تمريرها، وماذا حدث بعد ذلك.
بدون تلك التелеметري على مستوى المعاملة، لا يمكنك الإجابة على أسئلة أساسية حول التعرض أو الإساءة أو التأثير. استخدام الذكاء الاصطناعي المخفي ليس خطرًا لأن وجوده، بل لأن عمله يحدث بدون هذا المستوى من الحوكمة أو الإشراف.
تختلف اختبار أنظمة الوكيل بشكل أساسي عن اختبار التطبيقات الثابتة. كيف تُ模ّل السلوك المعادي عبر سلاسل عمل متعددة، وما هي أنواع الاستغلالات الأكثر شيوعًا التي يتم الكشف عنها؟
نُشّع غاندالف (https://gandalf.lakera.ai)، وهو أكبر تمرين اختبار أحمر للذكاء الاصطناعي في العالم. إنه منصة مفتوحة حيث يحاول المستخدمون الحقيقيون إقناع وكلاء الذكاء الاصطناعي بخرق حدودهم. هذا يعطينا قاعدة بيانات فريدة ومتزايدة باستمرار من تقنيات معادية حقيقية – ليس الهجمات النظرية، ولكن الاستراتيجيات التي يستخدمها الناس الحقيقيون لتحريف أنظمة الذكاء الاصطناعي.
نستخدم تلك القاعدة لتشغيل قدرات اختبارنا الأحمر. الهجمات التي نراها أكثرها تتضمن مستخدمين يُقنعون الوكلاء تدريجيًا بخرق قيودهم – من خلال حقن التحفيز غير المباشر، وإعادة الصياغة الإبداعية، وتهييج السياق، واستغلال الثقة المتزايدة عبر تفاعلات متعددة. هذه القضايا غير مرئية إذا كنت تختبر فقط التحفيزات الفردية. يجب عليك اختبار التسلسلات والحملات المعادية المستمرة.
مع بدء المهاجمين استخدام الوكلاء الذاتيين لاختبار الأنظمة بشكل مستمر، هل تتوقع أن تتغير الدفاع إلى ضوابط متكيفة في الوقت الفعلي مدفوعة بالذكاء الاصطناعي، وما هي هيكلة ذلك في الممارسة؟
نعم. لا يمكن للدفاعات الثابتة مواكبة المهاجمين الذاتيين الذين يعملون بشكل مستمر. يجب أن يصبح الدفاع متكيفًا ومدفوعًا بالزمن الفعلي وأوتوماتيكيًا. هذا يعني مراقبة سلوك الذكاء الاصطناعي في الوقت الفعلي، وتقييم المخاطر المستمر، وفرض السياسات على الفور عند انتهاكها. سيتطلب سرعة ومقياس هجمات الذكاء الاصطناعي دفاعات سريعة ومدفوعة بالآلة لمواكبتها.
في الممارسة، يصبح الأمن دورة تغذية راجعة بدلاً من مجموعة قواعد. يتم ملاحظة الأنظمة الذكية وتقييمها وفرض القيود عليها ديناميكيًا، بنفس السرعة والمدى الذي تعمل به. هذا التحول ضروري إذا أرادت المنظمات نشر الذكاء الاصطناعي بأمان على نطاق الشركات.
شكرًا على المقابلة الرائعة، القراء الذين يرغبون في معرفة المزيد يجب أن يزوروا شيك بوينت تكنولوجيز.
