لماذا حماية المحادثة الخاطفة هي الحد الأمني الخاطئ

لقد انتقلت ذكاء الإصطناعي في الشركات إلى ما هو أبعد من مرحلة إثبات المفهوم. 23% من المنظمات تقوم بالفعل بتوسيع نطاق أنظمة الذكاء الإصطناعي العامل في مكان ما في مؤسستها، و62% هي على الأقل تجريبية مع وكلاء الذكاء الإصطناعي. هذه ليست مشاريع بحثية. إنها عمليات نشر إنتاجية، متأصلة في سير العمل التي تلمس مستودعات الشفرة، وبيانات العملاء، والواجهات البرمجة التطبيقية الداخلية، والبنية التحتية التشغيلية.

استجابت الصناعة لنموها بشكل كبير من خلال التركيز على ما يحدث قبل إطلاق العامل. قام البائعون والباحثون بصب الطاقة في الحماية قبل الإطلاق: نشر سياسات التوسيع، وتحسين نماذج الأساس، وتصفية الإدخالات، وضمان سلسلة توريد الذكاء الإصطناعي، وفرض التوجيه في وقت التدريب. قام مزودو الذكاء الإصطناعي الرئيسيون بتحقيق استثمارات كبيرة في أدوات الأمان التوجيهية للمطورين، مما يعزز افتراضًا مركزيًا: إذا تم التحكم في النموذج والإدخالات، فيمكن احتواء المخاطر في_DOWNSTREAM.

هذا هو انطباع معقول، ولكنه يصبح غير مكتمل بشكل متزايد.

الطلب ليس حاجزًا أمنيًا

توفير الحماية التي تعمل في واجهة النموذج بشكل أساسي ت惠 Teams التي تسيطر على رمز التطبيق، وتكوين النموذج، والبنية التحتية. إنها توفر حماية أقل للمدافعين الذين يتعين عليهم حماية أنظمة الذكاء الإصطناعي التي لم يبنوها ولا يمكنهم تعديلها. هذا هو نقطة عمياء كبيرة، وقد وجد المهاجمون بالفعل أنها كذلك.

تقرير استخبارات التهديدات الأخير من OpenAI يوثق هذا الديناميكية بالضبط. المهاجمون نشطون في استغلال ChatGPT وأدوات مماثلة في بيئات الإنتاج، وليس من خلال اختراع تقنيات هجوم جديدة، ولكن من خلال دمج الذكاء الإصطناعي في سير العمل الحالية للانتقال بشكل أسرع. يصبح الاستطلاع أكثر كفاءة. ينتشر الهندسة الاجتماعية. يتسارع تطوير البرمجيات الخبيثة. لم تتغير السطح الهجومي بشكل أساسي؛ وقد تغيرت السرعة والحجم من الاستغلال.

أكثر إظهارًا هو كيف استجاب المهاجمون عندما دفعوا تلك الأدوات. لاحظت OpenAI المهاجمين يتحولون بسرعة إلى طلباتهم، مع الحفاظ على النية الأساسية بينما يتجاوزون التغييرات السطحية لتحايل التحكمات في واجهة المستخدم. هذا هو نمط رأته أمن المعلومات من قبل. الدفاعات الثابتة، سواء كانت برامج مكافحة الفيروسات القائمة على التوقيع أو تصفية الإدخالات، لا تتمسك بالمهاجمين الذين يتكررون بشكل أسرع من تحديثات القواعد.

تتضاعف التحديات مع زيادة استقلالية الوكلاء. لا تعمل وكلاء الذكاء الإصطناعي الحديثون في تبادل واحد. يقومون بتنفيذ تسلسلات إجراءات متعددة، ويدعون أدوات وتصريحات مشروعة بطريقة تبدو تمامًا طبيعية في العزل. لا يثير وكيل يستخدم أوراق اعتماد صالحة لتحديد واجهات برمجة التطبيقات الداخلية أي تنبيه. لا يولد وكيل يصل إلى مخازن البيانات الحساسة أثناء ما يبدو وكأنه سير عمل روتيني أي علم فوري. كل عمل فردي يمر بالفحص؛ العضارة تعيش في الجمع والترتيب.

عندما يتحرك التهديد إلى أسفل

تواجه فرق الأمن التي تدافع عن عمليات نشر الذكاء الإصطناعي اليوم عدم تطابق بنيوي. الأدوات المتاحة لهم هي في الغالب مبنية على التفكير في ما يسمح للنموذج بالقول. المخاطر الفعلية التي يتعين عليهم إدارتها هي ما يفعله وكيل عبر الأنظمة والشبكات والهويات مرة واحدة بعد منح التصريحات وإطلاقه في بيئة إنتاج.

تشارك الحماية القائمة على الطلب نفس الضعف الأساسي للنهج الأمني القديم القائم على القواعد. إنها هشة لأنها تعتمد على توقع أنماط الهجوم مسبقًا. إنها رد فعل لأنها تتطلب شخصًا لمراقبة التهديد وتدوينه قبل أن تعمل الدفاع. وهي متجاوزة من قبل المهاجمين الذين اعتمدوا التكرار المساعد بالذكاء الإصطناعي كُممارسة стандарт. مدافع يعتمد على تصفية الإدخال لالتقاط مهاجم يستخدم نموذج اللغة لإنشاء تحولات جديدة للطلب هو في موقف خاسر بشكل أساسي.

تظهر التعرض الفعلي بعد النشر. تتوسع إجراءات الوكيل عبر البيئات بطرق لا يمكن اختبار ما قبل الإطلاق أن يتوقعها بالكامل. يلتقي الوكلاء بحالات حافة، ويتفاعلون مع مصادر بيانات لم يتم تصميمها لمعالجتها، ويتلقون إدخالات من أنظمة خارج الهيكل الأصلي، ويتخذون قرارات تتراكم مع مرور الوقت. اختبار ما قبل الإطلاق هو صورة؛ الإنتاج هو تيار مستمر. الدفاع فقط عن الصورة يعني قبول أن كل ما يحدث في التيار هو في الواقع غير مراقب.

نقل الحدود الأمنية إلى سلوك الوكيل

يحتاج بناء متانة الذكاء الإصطناعي إلى إطار مختلف، وينبغي ألا يكون الهدف حماية واجهة النموذج. ينبغي أن يكون اكتشاف نية المهاجم من خلال العواقب القابلة للملاحظة لإجراءات الوكيل. هذا هو تمييز معنوي. النية لا تظهر دائمًا في ما يقوله الوكيل أو ما يتلقاه من إدخالات.

يجب أن يمتد حماية أنظمة الذكاء الإصطناعي إلى ما هو أبعد من فحص التوجيه والقوة إلى تقييم مستمر لطريقة عمل الوكلاء عندما يتفاعلون مع أدوات حقيقية، وواجهات برمجة تطبيقات حقيقية، وبيانات حقيقية. التقييم الثابت في وقت النشر ضروري ولكن غير كاف. بيئة التهديد التي يعمل فيها الوكيل تتغير باستمرار. يحتاج سلوك الوكيل إلى رصد بنفس الاستمرارية.

هذا هو مشكلة لا يمكن حلها بواسطة تصلب الطلب. يحتاج اكتشاف النية الخبيثة عندما تظهر من خلال تسلسلات الإجراءات إلى نماذج قادرة على فهم السلوك المتسلسل المركب في البيئات التشغيلية. يمكن أن تفعل نماذج التعلم العميق الأساسية المصممة خصيصًا للتحليل السلوكي ذلك بطرق لا يمكن أن تفعلها أنظمة قاعدة القواعد وأدوات SIEM التقليدية. إنها تتعلم ما يبدو طبيعيًا عبر سياق كامل من نشاط الوكيل، وتظهر الانحرافات التي تشير إلى أن شيئًا قد تغير، حتى عندما لا يثير أي عمل فردي تنبيهًا تقليديًا.

المنطق الأساسي يحتفظ بغض النظر عن سياق النشر: الحماية المرتبطة بواجهة الطلب ستخسر باستمرار للمهاجمين الذين يعملون على مستوى الإجراء. يجب أن تتحرك الدفاع إلى حيث يعيش الفعل الفعلي.

ما يجب على فرق الأمن فعله الآن

للمسؤولين الأمنيين الذين يحاولون الحصول على صدارة هذا، يمكن أن تغير بعض التحولات العملية الفعلية الفجوة بين حيث تقع الدفاعات حاليًا وحيث يتعين عليها أن تكون.

تقييم سلامة الذكاء الإصطناعي عبر كامل تطبيق المكدس. نموذج الأساس هو طبقة واحدة. من المهم بنفس القدر كيف يتصرف الوكلاء عندما يتم نشرهم في الإنتاج، والأدوات التي يدعونها، والتصريحات التي يستخدمونها، وكيف تتطور هذه الاختيارات مع مرور الوقت. تقييمات الأمان التي تتوقف عند حدود النموذج تترك السطح التشغيلي في الغالب غير مدروس.

فرض الصلاحيات الأدنى على مستوى الوكيل. يجب أن يكون وكلاء الذكاء الإصطناعي الوصول فقط إلى الأدوات وواجهات برمجة التطبيقات والبيانات الضرورية لوظيفتهم المحددة. هذه العبارة مهمة حتى عندما يبدو أن إخراج الوكيل يبدو مبررًا. يقلل الحد من نطاق الحد الأقصى لمدى تأثير وكيل مخترق وينشئ قواعد سلوكية واضحة أكثر تجعل اكتشاف الشذوذ أكثر فعالية.

عامل الوكلاء كهويات تنتج بيانات تعليمات. كل عمل يقوم به الوكيل هو نقطة بيانات. يجب على فرق الأمن بناء منطق الكشف حول سلاسل الإجراءات التي يبدأها الوكيل، وليس فقط الطلبات التي يسبقها. هذا الإعادة تشير إلى التحويل من مراقبة ما سأل شخص ما الوكيل إلى ما فعله الوكيل بالفعل، وهو ما يظهر فيه نية المهاجم.

استثمر في مراقبة السلوك المستمرة مع نماذج الكشف المصممة خصيصًا لهذه المهمة. يحتاج تحديد النية الخبيثة عندما تظهر من خلال تسلسلات الإجراءات إلى قدرة متخصصة. تم بناء أدوات المراقبة التقليدية لنمط نشاط بشري. يتطلب سلوك الوكيل، بسرعته وحجمه وهيكله المتعدد الخطوات، بنية الكشف مصممة من البداية مع هذا السياق في الاعتبار.

أعطِ الأولوية للدفاع الجماعي. تقنيات الهجوم التي تعمل بالذكاء الإصطناعي تتطور بشكل أسرع من أن تتبعها أي منظمة واحدة. البحث المشترك والتعاون المفتوح وذكاء التهديد الجماعي ليسوا إضافات اختيارية إلى استراتيجية أمن الذكاء الإصطناعي؛ إنهم مدخلات أساسية. المدافعون الذين يبقون على اطلاع هم الذين يساهمون في المعرفة الجماعية ويستفيدون منها.

الأمن السلوكي يلبي بالفعل

لفرق الأمن التي تقوم بهذا التحول، فإن العائد التشغيلي هو ملموس. ربط الكشف في سلوك الوكيل بدلاً من إخراج النموذج يسمح بالتحديد المبكر للنية الخبيثة، حتى عندما تكون الهجمات خفية أو متكيفة أو مشفرة. المهاجمون الذين يتحولون بنجاح إلى تحولات الطلبات الماضية عبر تصفية الإدخال لا يزالون يتعين عليهم التصرف. تترك هذه الإجراءات أثرًا. يجد الكشف السلوكي هذه الأثر قبل أن ينتشر الضرر.

ربما الأكثر إظهارًا هو أن هذا النهج يمنح المنظمات طريقًا مقبولًا لنشر وكلاء الذكاء الإصطناعي على نطاق واسع دون قبول المخاطر الأمنية النسبية. السؤال الذي يمنع العديد من الشركات هو ليس ما إذا كان وكلاء الذكاء الإصطناعي يمكن أن يؤدوا قيمة؛ بل ما إذا كان يمكن نشرهم بثقة كافية في أن الموقف الأمني لا يتراجع مع نمو النشر. يوفر الأمن السلوكي، الذي يعتمد على كيفية عمل الوكلاء بالفعل وليس على ما يتلقونه من إدخالات، هذه الثقة بطريقة لا يمكن أن تفعلها التحكمات القائمة على الطلب هيكليًا.

تم رسم الحدود الأمنية في المكان الخطأ، وهذا الخطأ كان يبدو منطقيًا عندما كان الذكاء الإصطناعي أداة تنتظر الإدخال. إنه لا ينتظر، والنظم الوكيلية تتصرف وتتسلسل وترتفع عبر البيئات التي لم يتوقعها أي اختبار ما قبل النشر. المنظمات التي تعترف بهذا الأمر في وقت مبكر سوف تكون هي التي تزيد من ثقة الذكاء الإصطناعي بالفعل. سوف يقضي الآخرون السنوات القليلة القادمة في اكتشاف، من خلال اختراق إلى اختراق، أن التحكم في ما يقوله النموذج لم يكن أبدًا نفس الشيء مثل التحكم في ما يفعله.