جوناثان زانجر، كبير مسؤولي التكنولوجيا في شيك بوينت – سلسلة المقابلات

جوناثان زانجر، كبير مسؤولي التكنولوجيا في شيك بوينت، يأتي بتركيبة فريدة من الخبرة العسكرية الاستخباراتية النخبة، والخبرة العميقة في الذكاء الاصطناعي، والقيادة التشغيلية عبر الشركات الناشئة والشركات العالمية. قبل توليه منصبه الحالي، شغل منصب كبير مسؤولي التكنولوجيا في ترايجو، حيث قاد تطوير أنظمة الذكاء الاصطناعي والرؤية الحاسوبية من الجيل التالي التي تمكّن من البيع الخالي من الاحتكاك والمنع على نطاق واسع، مع محاذاة المنتج والبحث والتطوير مع التوزيع التجاري في العالم الحقيقي.

شيك بوينت سوفتوير تكنولوجيز هي شركة رائدة عالميا في مجال الأمن السيبراني، وتوفر حلولا أمنية مدفوعة بالذكاء الاصطناعي وتسليمها عبر السحابة، مصممة لحماية الشركات والحكومات من التهديدات الرقمية المتطورة بشكل متزايد. توفر الشركة خدمات لأكثر من 100000 منظمة في جميع أنحاء العالم من خلال منصة شاملة تحمي الشبكات والبيئات السحابية والنقاط النهائية والمستخدمين من خلال نهج منع أولي يهدف إلى وقف الهجمات قبل حدوثها.

لقد قادت مبادرات أمنية وأمنية على نطاق واسع، وبنت أنظمة مدفوعة بالذكاء الاصطناعي في ترايجو، والآن تُشرف على استراتيجية الذكاء الاصطناعي في شيك بوينت. ما هي النماذج الفاشلة المحددة التي لاحظتها عند انتقال أنظمة الذكاء الاصطناعي من البيئات المراقبة إلى الإنتاج، خاصة عند منحهم الوصول إلى الأدوات والبيانات المؤسسية؟

يتغير شيءان بشكل جوهري في الإنتاج. أولاً، يتحول الحجم الحدي إلى أحداث يومية. معدل إيجابيات كاذبة بنسبة 0.1٪ يبدو رائعًا في المختبر، ولكن عندما تكون معالجة ملايين التفاعلات، يترجم ذلك إلى آلاف الحوادث التي تحتاج إلى الانتباه. يصبح الأحداث الإحصائية في الاختبار واقعًا تشغيليًا في النطاق.

ثانياً، الإنتاج يعني التعرض للعدو. في بيئة خاضعة للرقابة، تكون المدخلات لطيفة ومتنبئة. في العالم الحقيقي، بعض المستخدمين والمتحرضين سيحاولون عمدًا خداع النظام، مستغلين كل قناة بيانات غير موثوقة متاحة لتحريف السلوك. الانتقال من العرض إلى الإنتاج ليس مشكلة في التوسع. إنه تحول من بيئة تعاونية إلى بيئة محتلة، ويتطلب ذلك افتراضات تصميم مختلفة بشكل جوهري.

في الأنظمة الوكيلية، حيث يمكن للأدلة الاتصال بالواجهات البرمجية وتشغيل التعليمات والربط الإجراءات، ما هي أكثر الأسطح الهجومية حساسية التي لا تزال فرق الأمن غير مجهزة لها بشكل كاف؟

السطح الحرج الذي يقلل منه معظم الفرق هو البيانات نفسها. الأنظمة الوكيلية تصل عادة إلى مصادر بيانات غير موثوقة – البريد الوارد، والمواقع الإلكترونية، وتذاكر جيرا، والرمز المفتوح، والوثائق الخارجية. يتم استهلاك هذه البيانات وتحليلها بواسطة النماذج كجزء من عملية التفكير.

هذا يخلق两个 مخاطر ملموسة. أولاً، تسمم الذاكرة – حيث تشكل المحتوى المُدبر بشكل خفي استجابات النموذج وقراراته في المستقبل دون أي حقن واضح للتحفيز. ثانياً، حقن التحفيز غير المباشر – حيث يتم تضمين تعليمات معادية في تلك البيانات الخارجية وتفكيك الوكيل بشكل فعال من الداخل. لا يلمس المهاجم الحقن مباشرة. يزرع فقط تعليمات حيث سيجد الوكيلها.

غالبًا ما يتم وصف حقن التحفيز على أنه مشكلة نموذجية، ولكن في الممارسة يصبح مشكلة على مستوى النظام. كيف يجب على الشركات إعادة تصميم هيكلها لتنعزل مدخلات النموذج، وتشغيل الأداة، ووصول البيانات الحساسة؟

حقن التحفيز ليس مشكلة عالمية لها حل عالمي. ما إذا كان مدخل معين شرعيًا أو معاديًا يعتمد كليًا على السياق. السؤال عن وكيل لتحديث كلمة المرور الإدارية هو أمر مشروع تمامًا إذا كان وكيلًا فنيًا لمكتب المساعدة. نفس الطلب إلى وكيل تطبيق تجاري هو هجوم.

هذا هو السبب في أن الهيكل المعماري يهم أكثر من أي تقنية كشف واحدة. تحتاج الأنظمة إلى آليات حتمية ولامعرفية تعمل معًا. تتحكم الآليات الحتمية في الوصول إلى الأدوات والبيانات بناءً على هوية الوكيل، وهوية المستخدم، والدور المحدد للنظام. تُضيف الآليات اللامعرفية القائمة على النماذج القدرة على فهم اللغة والسياق والقصد. تحتاج إلى كلا الطبقات – تنفيذ سياسة قوي وعقلاني سياقي – لأن أيًا منهما لا يكفي بمفرده.

يعتمد العديد من وكلاء الذكاء الاصطناعي على التوليد المعزز بالاسترجاع ومصادر البيانات الخارجية. ما هي المخاطر حول تسميم البيانات وتهيئة التلاعب في هذه الأنابيب، وكيف يمكن تقليلها في وقت التشغيل؟

تختلف المخاطر حسب اتجاه تدفق البيانات. لمصادر البيانات الداخلية، المخاطر الرئيسية هي تسرب البيانات الحساسة – كشف المعلومات الشخصية، ومشاركة البيانات عبر العملاء، ورفع المعلومات الداخلية إلى أطراف غير مخولة. لمصادر البيانات الخارجية، تتضمن المخاطر انحياز النموذج من المعلومات غير المصدق عليها، وحقن التحفيز غير المباشر المضمن في المحتوى المستعاد، والاعتماد على مصادر غير موثوقة أو مُدبرة.

يجب أن تحدث التحفيز على مستوى المعاملة، في الوقت الفعلي. كل تفاعل وكيلي يجب تأمينه في كلا الاتجاهين: ضمان عدم تسرب البيانات الحساسة من الداخل إلى الخارج، وضمان عدم تغذية المعلومات المسمومة أو المعادية إلى النظام أو النموذج. لا يمكن حل هذه المشكلة في وقت الاستهلاك فقط لأن السياق ديناميكي ومحيط التهديد يتغير باستمرار.

يقدم طائرة الدفاع عن الذكاء الاصطناعي طبقة تحكم موحدة عبر استخدام الذكاء الاصطناعي للموظفين، والتطبيقات، والأنظمة الوكيلية. ما كانت أكبر التحديات الهندسية في بناء نظام يمكنه ملاحظة وتنفيذ السياسة عبر حزمة الذكاء الاصطناعي المُجزأة؟

نعتقد أن حمولة الوكيل سوف تمتد في المستقبل القريب إلى النقاط النهائية، والتطبيقات، وخدمات السحابة، وخدمات الحوسبة السحابية – كلها متصلة ببعضها البعض في ما نسميه “إنترنت الوكلاء”. الفكرة وراء طائرة الدفاع عن الذكاء الاصطناعي هي اكتشاف وحوكمة وحماية هذه البنية الوكيلية المؤسسية المتطورة في إطار واحد.

التحدي الهندسي الرئيسي هو تقييم ملف المخاطر والسياق الخاص بكل وكيل ديناميكيًا، وتطوير حماية فعلية في الوقت الفعلي لكل معاملة وكيلية. هذا يعني الحفاظ على معدلات حجب عالية ضد التهديدات الحقيقية مع تقليل الإيجابيات الكاذبة – في سرعة الإنتاج ومداه، عبر بيئات تشغيل متعددة. بناء نظام يمكنه ملاحظة وتنفيذ السياسة بشكل متسق عبر حزمة الذكاء الاصطناعي المُجزأة والمتطورة بسرعة يتطلب منا إعادة التفكير في كيفية تمثيل وقييم نشاط الذكاء الاصطناعي على مستوى أساسي.

المنصة تُشدد على اتخاذ القرارات في الوقت الفعلي على مستوى الآلة عبر اللغات والعمليات. كيف تُحقق بين قيود التأخير وضرورة الفحص العميق والتحكم في الأفعال المُدفوعة بالذكاء الاصطناعي في بيئات الإنتاج؟

نطور ونُدرّب نماذج أساسية خصيصًا لمنع التهديدات، ثم نستخدم تقنيات التقطير لجعلها فعالة للغاية. هذا يسمح لنا بتشغيل الاستدلال بسرعة وبدقة مع الحد الأدنى من الحوسبة – حتى على وحدات المعالجة المركزية أو وحدات معالجة الرسومات الشائعة – مع الحفاظ على تغطية متعددة اللغات ومتعددة الأشكال، بما في ذلك تحليل الصور والصوت، بدقة قصوى.

هذا النهج يسمح لنا بفحص معاملات الوكيل بشكل عميق دون أن نصبح عائقًا. الأمن الذي يُroduce تأخيرًا غير مقبول سوف يتم تجاوزه. الأمن الذي يكون خفيًا للعملية ولكنه ينفذ ضوابط معنوية هو ما يتم نشره ويبقى مفعلًا.

تُشغل وكلاء الذكاء الاصطناعي بشكل متزايد بتصريحات تفويضية عبر أنظمة متعددة. كيف يجب على المنظمات إعادة التفكير في إدارة الهوية والوصول للجهات غير البشرية، خاصة عند توسيع الوكلاء نطاقهم بشكل ديناميكي من خلال استخدام الأدوات؟

الخطأ الذي تُرتكبه معظم المنظمات هو معاملة وكلاء الذكاء الاصطناعي إما كمُمتدات لمستخدمي البشر أو كحسابات خدمة تقليدية. لا يتناسب أي من هذين النموذجين. فكر فيهم كموظفين رقميين – كيانات لها أدوار ومسؤوليات وحدود محددة.

يجب تعريف هوية الوكيل بثلاثة أبعاد: العملية المحددة التي ينفذها الوكيل، والمستخدم الذي يمتلك أو يُنشئ الوكيل، والمستخدم الذي يتفاعل معه حاليًا. تُشكل هذه العوامل الثلاث ما يجب أن يُسمح للوكيل بفعله. بالإضافة إلى ذلك، تحتاج المنظمات إلى تطبيق مبادئ الثقة الصفرية على الوكلاء – لا تفترض الثقة بناءً على المنشأ، وتُ