كيران نورتون، قائد إيه آي وأتمتة سيبر ديلايت في الولايات المتحدة – سلسلة المقابلات

كيران نورتون شريك (شريك) في ديلايت وتوش، هو قائد إيه آي وأتمتة سيبر ديلايت في الولايات المتحدة. مع أكثر من 25 عامًا من الخبرة الواسعة والخلفية التكنولوجية الصلبة، يمتاز كيران في معالجة المخاطر الناشئة، وتقديم التوجيهات الاستراتيجية والعملية للعملاء في مجال إدارة المخاطر السيبرانية والتكنولوجيا.

داخل ديلايت، يقود كيران جهود التحول الإيه آي لممارسة السيبرانية في الولايات المتحدة. وهو ي 감독 تصميم وتطوير وتنفيذ حلول الإيه آي والأتمتة، مما يساعد العملاء على تعزيز قدراتهم السيبرانية واعتماد تقنيات الإيه آي / جين آي مع إدارة المخاطر المرتبطة بها.

خارجيًا، يساعد كيران العملاء في تطوير استراتيجيات الأمان التقليدية لدعم التحول الرقمي، وتنمية سلاسل التوريد، وتسريع وقت الوصول إلى السوق، وتخفيض التكاليف، وتحقيق أهداف أعمال حرجة أخرى.

مع أصبحت وكلاء الإيه آي أكثر استقلالية، ما هي الفئات الجديدة من تهديدات الأمن السيبراني التي تظهر والتي قد لا يفهمها الأعمال بعد؟

المخاطر المرتبطة باستخدام تقنيات الإيه آي الجديدة لتصميم وإنشاء وتنفيذ وكلاء قد تكون مفهومة – ولكن التنفيذ العملي يختلف.

وكالة وكلاء الإيه آي وذكاءها – القدرة على أن يدرك الوكلاء ويتخذوا قرارات ويعملوا بشكل مستقل عن البشر – يمكن أن يخلق تحديات في الحفاظ على الرؤية والسيطرة على العلاقات والتفاعلات التي تتم بين النماذج / الوكلاء والمستخدمين والبيانات والوكلاء الآخرين. مع استمرار انتشار الوكلاء داخل المؤسسة، وربط منصات وخدمات متعددة بزيادة الاستقلالية وحقوق اتخاذ القرارات، سيصبح هذا أكثر صعوبة. التهديدات المرتبطة بوكالة وكلاء الإيه آي غير المحمية أو المفرطة أو الظل هي عديدة. يمكن أن تشمل تسرب البيانات، وتلاعب الوكلاء (من خلال حقن البرمجة، إلخ)، وسلاسل الهجوم بين الوكلاء. ليس كل هذه التهديدات موجودة هنا والآن، ولكن المؤسسات يجب أن تفكر في كيفية إدارة هذه التهديدات مع تبنيها وتطوير قدراتها التي تعتمد على الإيه آي.

إدارة الهوية الإيه آي هي مخاطر أخرى يجب أن تفكر فيها بعناية. تحديد وتأسيس وإدارة الهويات الآلية لوكلاء الإيه آي ستصبح أكثر تعقيدًا مع نشر المزيد من الوكلاء واستخدامهم عبر المؤسسات. الطبيعة العابرة لنماذج الإيه آي / مكونات النماذج التي يتم تشغيلها وتدميرها بشكل متكرر في ظروف مختلفة، ستؤدي إلى تحديات في الحفاظ على هذه معرفات النماذج. معرفات النماذج ضرورية لمراقبة نشاط وسلوك الوكلاء من منظور أمني وثقة. إذا لم يتم تنفيذها ومراقبتها بشكل صحيح، سيكون من الصعب تحديد القضايا المحتملة (الأداء والأمان، إلخ).

كيف يجب أن نخاف من هجمات تسميم البيانات في خطوط أنابيب تدريب الإيه آي، وما هي استراتيجيات الوقاية الأفضل؟

تسميم البيانات يمثل أحد الطرق لتحريف / التلاعب بنماذج الإيه آي في دورة حياة تطوير النماذج. التسميم عادةً ما يحدث عندما يقوم فاعل خبيث بحقن بيانات ضارة في مجموعة التدريب. ومع ذلك، من المهم ملاحظة أن التسميم يمكن أن يحدث بسبب الأخطاء أو القضايا النظامية في توليد البيانات. مع زيادة احتياجات المنظمات من البيانات وبحثها عن بيانات قابلة للاستخدام في أماكن أكثر (مثل التدوين اليدوي الخارجي، أو مجموعات البيانات الاصطناعية المشتراة أو المولدة، إلخ)، يزيد احتمال تسميم بيانات التدريب بشكل غير مقصود، وقد لا يكون دائمًا سهل التشخيص.

استهداف خطوط أنابيب التدريب هو أحد مصادر الهجوم الأساسية التي يستخدمها الأعداء للتأثير الخفي والصريح. يمكن أن يؤدي التلاعب بنماذج الإيه آي إلى نتائج تشمل الإيجابيات الكاذبة والسلبيات الكاذبة والتأثيرات الخفية الأخرى التي يمكن أن تغير توقعات الإيه آي.

تتراوح استراتيجيات الوقاية بين الحلول الفنية والإجرائية والهيكلية. تشمل الاستراتيجيات الإجرائية التحقق من صحة البيانات وتنقية البيانات وتقييم الثقة؛ تشمل الاستراتيجيات الفنية استخدام تعزيزات أمان مع تقنيات الإيه آي مثل التعلم الفيدرالي؛ تشمل الاستراتيجيات الهيكلية تنفيذ خطوط أنابيب موثوقة وتنفيذ مراقبة قوية وتنبيهات يمكن أن تسهل الكشف عن الشذوذ. هذه النماذج ليست جيدة إلا إذا كانت بياناتها جيدة، حتى لو كانت المنظمة تستخدم أحدث وأفضل الأدوات، فإن تسميم البيانات يمكن أن يصبح عقر الداء للمنظمات غير المستعدة.

كيف يمكن للممثلين الخبيثين التلاعب بنماذج الإيه آي بعد نشرها، وكيف يمكن للمنظمات الكشف عن التلاعب في وقت مبكر؟

الوصول إلى نماذج الإيه آي بعد نشرها عادةً ما يتم عبر واجهة برمجة التطبيقات (API)، أو عبر تطبيق عبر نظام مدمج، و / أو عبر بروتوكول منفذ إلى جهاز حافي. يتطلب الكشف المبكر عملًا مبكرًا في دورة حياة تطوير البرمجيات (SDLC)، وفهم تقنيات التلاعب بنماذج الإيه آي، بالإضافة إلى تحديد مصادر التهديدات ذات الأولوية لتصميم طرق الكشف والحماية. بعض التلاعب بنماذج الإيه آي يتضمن اختطاف واجهة برمجة التطبيقات، وتلاعب مساحات الذاكرة (الزمن التشغيلي)، والتسميم البطيء / التدريجي عبر انجراف النموذج. بالنظر إلى هذه الطرق للتلاعب، يمكن أن تشمل بعض استراتيجيات الكشف المبكر استخدام تелеметري النقاط النهائية / المراقبة (من خلال استجابة الكشف عن النقاط النهائية وتوسيع الكشف)، وتنفيذ خطوط أنابيب الاستدلال الآمن (مثل الحوسبة الموثوقة ومبادئ الثقة الصفرية)، وتمكين علامات مائية النموذج / التوقيع على النموذج.

حقن البرمجة هو عائلة من هجمات النماذج التي تحدث بعد نشرها، ويمكن استخدامها لأغراض مختلفة، بما في ذلك استخراج البيانات بطرق غير مقصودة، وكشف الدفعات النظامية غير المخصصة للمستخدمين العاديين، وتحفيز استجابات النموذج التي قد تظهر المنظمة في ضوء سلبي. هناك مجموعة متنوعة من أدوات الحماية في السوق لمساعدة في التخفيف من مخاطر حقن البرمجة، ولكن كما هو الحال مع بقية السيبرانية، هذا هو سباق تسلح حيث تقنيات الهجوم والتدابير الدفاعية المقابلة يتم تحديثها باستمرار.

كيف تقع الإطارات التقليدية للأمن السيبراني قصيرة في معالجة المخاطر الفريدة لأنظمة الإيه آي؟

نحن عادة ما نرتبط بـ “إطار الأمن السيبراني” بالتوجيه والمعايير – على سبيل المثال NIST و ISO و MITRE وآخرون. بعض المنظمات وراء هذه المنظمات قد نشرت توجيهات محدثة حول حماية أنظمة الإيه آي، والتي يمكن أن تكون مفيدة جدًا.

الإيه آي لا تجعل هذه الإطارات غير فعالة – لا تزال تحتاج إلى معالجة جميع المجالات التقليدية للأمن السيبراني — ما قد تحتاجه هو تحديث عملياتك وبرامجك (مثل دورة حياة التطوير) لمعالجة دقة أنظمة الإيه آي. دمج وتنفيذ التحكم الآلي (حيثما أمكن) لحماية ضد التهديدات الدقيقة الموصوفة أعلاه هو الطريق الأمثل.

على المستوى التكتيكي، من الجدير ذكر أن نطاق المدخلات والمخرجات المحتملة غالبًا ما يكون أكبر بكثير من التطبيقات غير الإيه آي، مما يخلق مشكلة من حيث الحجم لاختبار الاختراق التقليدية والكشف القائم على القواعد، ومن هنا التركيز على الأتمتة.

ما هي العناصر الرئيسية التي يجب تضمينها في استراتيجية أمن سيبراني مصممة خصيصًا للمنظمات التي تعتمد الإيه آي التوليدية أو نماذج اللغة الكبيرة؟

عند تطوير استراتيجية أمن سيبراني لتنفيذ الإيه آي التوليدية أو نماذج اللغة الكبيرة (LLM)، لا يوجد نهج واحد يناسب الجميع. يعتمد الكثير على أهداف الأعمال الشاملة للمنظمة، واستراتيجية تكنولوجيا المعلومات، والتركيز الصناعي، والبصمة التنظيمية، وتحمل المخاطر، إلخ. بالإضافة إلى الحالات الخاصة لاستخدام الإيه آي قيد النظر. تتميز الدردشة الداخلية فقط بخطر مختلف تمامًا عن الوكيل الذي يمكن أن يؤثر على نتائج الصحة للمرضى، على سبيل المثال.

مع ذلك، هناك أساسيات يجب أن تتعامل معها كل منظمة:

• إجراء تقييم الجاهزية – هذا يحدد معيارًا لتقدير القدرات الحالية وكذلك تحديد الفجوات المحتملة مع مراعاة حالات استخدام الإيه آي ذات الأولوية. يجب على المنظمات تحديد哪里 توجد ضوابط موجودة يمكن تمديدها لمعالجة المخاطر الدقيقة المرتبطة بالإيه آي وضرورة تنفيذ تقنيات جديدة أو تعزيز العمليات الحالية.
• إنشاء عملية حوكمة الإيه آي – قد تكون هذه جديدة تمامًا داخل المنظمة أو تعديل لبرامج إدارة المخاطر الحالية. يجب أن تشمل هذه الوظيفة تمكين الإيه آي على مستوى المؤسسة، وجلب أصحاب المصلحة من جميع أنحاء الأعمال، وتكنولوجيا المعلومات، والمنتجات، والمخاطر، والأمن السيبراني، إلخ. كجزء من هيكل الحوكمة. بالإضافة إلى ذلك، يجب تعريف السياسات ذات الصلة (سياسات الاستخدام المقبول، سياسات أمان السحابة، إدارة مخاطر التكنولوجيا الخارجية، إلخ.) وتحديد متطلبات التطوير المهني لدعم أدبية الإيه آي وأمنها / سلامتها في جميع أنحاء المنظمة.
• إنشاء هيكل إيه آي موثوق – مع إنشاء منصات الإيه آي وبيئات التجارب الرملية، ستحتاج التكنولوجيا الحالية بالإضافة إلى حلول جديدة (مثل جدران الحماية الإيه آي في وقت التشغيل وأمان الحوسبة الموثوق) إلى التكامل في بيئات التطوير والتنفيذ بطريقة قابلة للتكرار ومتوسعة.
• تعزيز دورة حياة التطوير – يجب على المنظمات بناء تكاملات وثيقة بين مطوري الإيه آي وفرق إدارة المخاطر التي تعمل على حماية وحماية واستخدام حلول الإيه آي. يشمل ذلك إنشاء مجموعة موحدة من ممارسات التطوير البرمجي الآمنة ومتطلبات التحكم، بالتعاون مع فرق تطوير واعتماد الإيه آي الأوسع.

يمكنك أن تفسر مفهوم “جدار الحماية الإيه آي” ببساطة؟ كيف يختلف عن جدران الحماية التقليدية للشبكات؟

جدار الحماية الإيه آي هو طبقة أمنية مصممة لمراقبة وسيطرة مدخلات ومخرجات أنظمة الإيه آي – خاصة نماذج اللغة الكبيرة – لمنع سوء الاستخدام، وحماية البيانات الحساسة، وضمان سلوك الإيه آي المسؤول. على عكس جدران الحماية التقليدية التي تحمي الشبكات من خلال تصفية حركة المرور بناءً على عناوين IP والمنافذ والتهديدات المعروفة، تركز جدران الحماية الإيه آي على فهم وتحليل التفاعلات اللغوية الطبيعية. تقوم هذه الجدران بحظر المحتوى السام، وتسرب البيانات، وحقن البرمجة، والاستخدام غير الأخلاقي للإيه آي من خلال تطبيق السياسات، والمرشحات الموجهة بالسياق، وحدائق النموذج المحددة. في جوهره، بينما يحمي جدار الحماية التقليدي شبكتك، يحمي جدار الحماية الإيه آي نماذج الإيه آي ومخرجاتها.

هل هناك معايير أو بروتوكولات ظاهرة في الصناعة تحكم استخدام جدران الحماية الإيه آي أو الحماية؟
بروتوكول اتصال النموذج (MCP) ليس معيارًا عالميًا ولكنه يكتسب زخمًا عبر الصناعة لمساعدة في معالجة العبء المتزايد للتكوين على الشركات التي تحتاج إلى إدارة تنوع حلول الإيه آي – جين آي. يحدد MCP كيفية تبادل نماذج الإيه آي للمعلومات (بما في ذلك التعلم) بما في ذلك السلامة والتحقق. يمكننا pensar في MCP على أنه بروتوكول التحكم في النقل / بروتوكول الإنترنت لمواد الإيه آي، وهو مفيد بشكل خاص في الحالات المركزية والفيدرالية أو الموزعة. MCP هو في الوقت الحالي إطار مفاهيمي يتم إدراكه من خلال أدوات وبحوث ومشاريع مختلفة.

المجال يتحرك بسرعة ويمكن أن يتغير كثيرًا خلال السنوات القليلة القادمة.

كيف تحول الإيه آي مجال الكشف عن التهديدات والاستجابة له اليوم مقارنة بالوقت الذي كان فيه قبل خمس سنوات؟

لقد رأينا منصات مركز العمليات الأمنية (SOC) الحديثة تتحول بدرجات مختلفة، باستخدام مجموعات بيانات كبيرة عالية الجودة إلى جانب نماذج الإيه آي / تعلم الآلة المتقدمة لتحسين الكشف والتصنيف للتهديدات. بالإضافة إلى ذلك، إنهم يستفيدون من القدرات الآلية والتدفقات والتصحيح الآلي لتقليل الوقت من الكشف إلى التخفيف. وأخيرًا، قد أدخلت بعضها قدرات مساعد لتعزيز التriage والاستجابة.

بالإضافة إلى ذلك، يتم تطوير وكلاء لتحقيق أدوار محددة داخل SOC. كمثال عملي، قمنا ببناء محلل رقمي لوكيل لتنفيذه في خدمتنا الإدارة المدارة. يعمل الوكيل كمحلل من المستوى الأول، ويقوم بفحص التنبيهات الواردة، وإضافة السياق من استخبارات التهديدات ومصادر أخرى، وتوصية بخطوات الاستجابة (بناءً على تاريخ الحالات الشاملة) لمحللينا البشريين الذين يراجعونها ويعيدون صياغتها إذا لزم الأمر وي采خون الإجراءات.

كيف ترى العلاقة بين الإيه آي والأمن السيبراني تتطور خلال السنوات الثلاث إلى خمس القادمة – هل سيكون الإيه آي أكثر من خطر أو حل؟
عندما تتحول الإيه آي خلال السنوات الثلاث إلى خمس القادمة، يمكن أن تساعد الإيه آي الأمن السيبراني ولكن في نفس الوقت يمكن أن تطرح مخاطر. الإيه آي سوف توسع سطح الهجوم وستخلق تحديات جديدة من منظور دفاعي. بالإضافة إلى ذلك، الإيه آي العدائية سوف تزيد من جدية وسرعة ونطاق الهجمات، مما سوف يخلق تحديات إضافية. على الجانب الآخر، استخدام الإيه آي في مجال الأمن السيبراني يقدم فرصًا كبيرة لتحسين الفعالية والكفاءة وال敏捷ية وسُرعة العمليات السيبرانية عبر معظم المجالات – في النهاية مما يخلق سيناريو “مكافحة النار بالنار”.

شكرًا على المقابلة الرائعة، قد يرغب القراء في زيارة ديلايت أيضًا.