قادة الفكر
لماذا تكون حماية البوتات المحادثية حدود أمان خاطئة
لقد تجاوزت ذكاء الأعمال الحاسوبي مرحلة إثبات المفهوم بشكل جيد. 23% من المنظمات تقوم بالفعل بتوسيع نطاق أنظمة الذكاء الاصطناعي العامل في مكان ما في مؤسستها، و62% على الأقل تجري تجارب مع وكلاء الذكاء الاصطناعي. هذه ليست مشاريع بحثية. إنها توزيعات إنتاج، مدمجة في تدفقات العمل التي تلمس مستودعات الشفرة، وبيانات العملاء، وواجهات برمجة التطبيقات الداخلية، والبنية التحتية التشغيلية.
استجاب الصناعة لتلك النمو بشكل كبير على ما يحدث قبل إطلاق العميل. أضاف البائعون والباحثون الطاقة إلى حماية ما قبل النشر: نشر سياسات التوسيع، وتحسين نماذج الأساس، وتصفية الإدخالات، وأمان سلسلة توريد الذكاء الاصطناعي، وتنفيذ التوجيه في وقت التدريب. قام مقدمو الذكاء الاصطناعي الرئيسيون باستثمارات كبيرة في أدوات الأمان التي تواجه المطور، مما يعزز افتراضًا مركزيًا: إذا تم التحكم في النموذج والإدخالات، يمكن احتواء المخاطر التنازلية.
إنها غريزة معقولة، ولكنها أصبحت غير كاملة بشكل متزايد.
الاستفهام ليس حدودًا أمنية
توفير الحماية التي تعمل في واجهة النموذج بشكل رئيسي لفائدة الفرق التي تسيطر على كود التطبيق، وتكوين النموذج، والبنية التحتية. إنها تقدم حماية أقل للمدافعين الذين كلفوا بضمان أمان أنظمة الذكاء الاصطناعي التي لم يبنوها ولا يمكنهم تعديلها. هذا هو نقطة عمياء كبيرة، وقد وجدتها الأعداء بالفعل.
تقرير استخبارات التهديدات الأخير من OpenAI يوثق هذا الديناميكية بالضبط. يسيء ممثلو التهديد باستغلال ChatGPT وأدوات مماثلة في بيئات الإنتاج، ليس باختراع تقنيات هجوم جديدة، ولكن bằng دمج الذكاء الاصطناعي في تدفقات العمل الحالية لتحرك بسرعة أكبر. يصبح الاستطلاع أكثر كفاءة. يتناسب الهندسة الاجتماعية. يتسارع تطوير البرامج الضارة. لم يتغير سطح الهجوم بشكل أساسي؛ سرعة وكثافة الاستغلال قد تغيرت.
أكثر إقناعًا هو كيف استجاب المهاجمون عندما دفعوا تلك الأدوات. لاحظت OpenAI أن ممثلي التهديد يتحولون بسرعة إلى استفهاماتهم، مع الحفاظ على النية الأساسية بينما يتجاوزون التغييرات السطحية لتحايل التحكمات الأمامية. هذا هو نمط رأته ممارسو الأمان من قبل. لا تُحافظ الدفاعات الثابتة، سواء كانت أمان الفيروسات القائمة على التوقيع أو تصفية الإدخال، على النزاع مع الأعداء الذين يتكررون أسرع من تحديثات القواعد.
تتضاعف التحديات مع زيادة استقلالية الوكلاء. لا يعمل وكلاء الذكاء الاصطناعي الحديثون في تبادل واحد فقط. يقومون بتنفيذ تسلسلات إجراءات متعددة، ويدعون أدوات وتصريحات مشروعة بالطرق التي تبدو تمامًا طبيعية في العزلة. لا يؤدي وكيل يستخدم أوراق اعتمادية صالحة لتحديد واجهات برمجة التطبيقات الداخلية إلى إطلاق تنبيه. لا يؤدي وكيل يصل إلى مخازن بيانات حساسة أثناء ما يبدو وكأنه تدفق عمل روتيني إلى إطلاق علامة فورية. كل عمل فردي يمر بالفحص؛ العُرضة تعيش في الجمع والترتيب.
عندما يتحرك التهديد إلى أسفل
يواجه فرق الأمان الذين يدافعون عن توزيعات الذكاء الاصطناعي اليوم عدم تطابق بنيوي. الأدوات المتاحة لهم بنيت بشكل رئيسي لتفسير ما يُسمح للنموذج بالقول. المخاطر الفعلية التي يحتاجون إلى إدارتها هي ما يفعله الوكيل عبر الأنظمة والشبكات والهويات بعد منحه التصاريح وإطلاقه في بيئة إنتاج.
تشارك حماية الاستفهام الضعف الأساسي للنُهج الأمنية القائمة على القواعد السابقة. إنها هشة لأنها تعتمد على توقع أنماط الهجوم مسبقًا. إنها رد فعل لأنها تتطلب شخصًا لمراقبة التهديد وتدوينه قبل أن تعمل الدفاع. وهي متجاوزة من قبل الأعداء الذين اعتمدوا التكرار المساعد بالذكاء الاصطناعي كأسلوب قياسي. مدافع يعتمد على تصفية الإدخال لالتقاط ممثل تهديد يستخدم نموذج لغة لإنشاء تغييرات جديدة في الاستفهام يجد نفسه في وضع خسارة أساسي.
التعرض الفعلي يظهر بعد النشر. تنتشر أفعال الوكيل عبر البيئات بطرق لا يمكن اختبار ما قبل الإطلاق التنبؤ بها بالكامل. يتعامل الوكلاء مع حالات حافة، ويتفاعلون مع مصادر بيانات لم يتم تصميمها لمعالجتها، ويتلقون إدخالات من أنظمة خارج الهيكل المعماري الأصلي، ويتخذون قرارات تتراكم مع مرور الوقت. اختبار ما قبل الإطلاق هو صورة ساكنة؛ الإنتاج هو تيار مستمر. الدفاع فقط عن الصورة يعني قبول أن كل شيء يحدث في التيار هو في الواقع غير مراقب.
نقل حدود الأمان إلى سلوك الوكيل
ي đòi بناء متانة الذكاء الاصطناعي إطارًا مختلفًا، وهدف يجب أن لا يكون حماية واجهة النموذج. يجب أن يكون كشف نية المهاجم من خلال العواقب القابلة للملاحظة لأفعال الوكيل. هذا هو فرق معنوي. النية لا تظهر دائمًا في ما يقوله الوكيل أو ما الإدخالات التي يتلقاها.
يجب أن يمتد أمان أنظمة الذكاء الاصطناعي إلى ما وراء فحص التوجيه وتقييم المتانة إلى التقييم المستمر لطريقة عمل الوكلاء عندما يتفاعلون مع أدوات حقيقية، وواجهات برمجة تطبيقات حقيقية، وبيانات حقيقية. التقييم الثابت في وقت النشر ضروري ولكن غير كافٍ. بيئة التهديد التي يعمل فيها الوكيل تتغير باستمرار. سلوك الوكيل يحتاج إلى المراقبة بنفس الاستمرارية.
هذا هو مشكلة لا يمكن لحماية الاستفهام حلها. كشف النية الخبيثة كما تظهر من خلال تسلسلات الإجراءات يتطلب نماذج قادرة على فهم السلوك المتعقّب المركب في البيئات التشغيلية. نماذج الذكاء الاصطناعي القائمة على التعلم العميق مخصصة للتحليل السلوكي يمكن القيام بذلك بطرق لا يمكن أنظمة القواعد وأدوات SIEM التقليدية القيام بها. إنها تتعلم ما يبدو طبيعيًا عبر سياق كامل لفعالية الوكيل، وتظهر الانحرافات التي تشير إلى أن شيئًا قد تغير، حتى عندما لا يؤدي عمل فردي إلى إطلاق تنبيه تقليدية.
المنطق الأساسي يظل بغض النظر عن سياق النشر: الأمان المرتبط بطبقة الاستفهام سيفقد باستمرار للمهاجمين الذين يعملون في طبقة الإجراء. الدفاع يجب أن يتحرك إلى حيث يعيش التهديد فعليًا.
ما يجب على فرق الأمان القيام به الآن
للمسؤولين الأمنيين الذين يحاولون أن يتقدموا، يمكن أن تغير بعض التحولات العملية الفجوة بين حيث تقع الدفاعات حاليًا وحيث يجب أن تكون.
تقييم سلامة الذكاء الاصطناعي عبر كامل مكدس التطبيق. نموذج الأساس هو طبقة واحدة. مهمة بنفس القدر هو كيف يتصرف الوكلاء عندما يتم نشرهم إلى الإنتاج، وأدواتهم، وتصاريحهم، وكيف تتطور تلك الخيارات مع مرور الوقت. تقييمات الأمان التي تتوقف عند حدود النموذج تترك السطح التشغيلي غير مفتوش بشكل كبير.
فرض الحد الأدنى من الامتيازات على مستوى الوكيل. يجب أن يكون للوكلاء الذكاء الاصطناعي حق الوصول فقط إلى الأدوات وواجهات برمجة التطبيقات والبيانات اللازمة لوظيفتها المحددة. هذه العبارة مهمة حتى عندما تبدو مخرجات الوكيل محايدة. يقلل الحد من نطاق الضرر من مجال الانفجار في حالة تعرض الوكيل للخطر، ويتوفر خط أساس سلوكي أوضح يجعل الكشف عن الشذوذ أكثر فعالية.
عامل الوكلاء كهويات تنتج بيانات تيليمترية. كل عمل يقوم به الوكيل هو نقطة بيانات. يجب على فرق الأمان بناء منطق الكشف حول سلاسل الإجراءات التي يبدأها الوكيل، وليس فقط استفهامات المستخدم التي تسبقه. هذا الإعادة توجيه تحول المراقبة من ما سأل شخص ما الوكيل القيام به إلى ما فعله الوكيل فعليًا، وهو المكان الذي يصبح فيه نية المهاجم مرئية.
استثمر في المراقبة السلوكية المستمرة مع نماذج الكشف مخصصة لهذه المهمة. كشف النية الخبيثة كما تظهر من خلال تسلسلات الإجراءات يتطلب قدرة متخصصة. أدوات المراقبة التقليدية بنيت لنمط النشاط الذي يولده الإنسان. سلوك الوكيل، بسرعته وحجمه وهيكله المتعدد الخطوات، ي đòi بنية كشف مصممة من الأساس مع مراعاة هذا السياق.
أولوية الدفاع الجماعي. تقنيات الهجوم التي تعمل بالذكاء الاصطناعي تتطور بشكل أسرع من أي منظمة يمكنها تتبعها. البحث المشترك والتعاون المفتوح وذكاء التهديدات المجتمعي ليسوا إضافات اختيارية لاستراتيجية أمان الذكاء الاصطناعي؛ إنهم مدخلات أساسية. المدافعون الذين يبقون على اطلاع هم الذين يساهمون في المعرفة الجماعية ويستفيدون منها.
أمان السلوك يلبي فعلاً
لفرق الأمان التي تقوم بهذا التحول، يكون الفائدة التشغيلية ملموسة. ربط الكشف في سلوك الوكيل بدلاً من مخرجات النموذج يسمح بالتعرف المبكر على النية الخبيثة، حتى عندما تكون الهجمات خفية أو متكيفة أو مشفرة. المهاجمون الذين ينجحون في تغيير استفهاماتهم إلى ما وراء مرشحات الإدخال يجب أن يتصرفوا. تلك الأفعال تترك أثرًا. الكشف السلوكي يجد تلك الأثر قبل أن يتوسع الضرر.
ربما الأكثر أهمية، هذا النهج يمنح المنظمات طريقًا مقبولًا لنشر وكلاء الذكاء الاصطناعي بمقياس بدون قبول مخاطر أمنية متساوية. السؤال الذي يمنع العديد من المؤسسات هو ليس ما إذا كان وكلاء الذكاء الاصطناعي يمكن أن يقدموا قيمة؛ بل هو ما إذا كان يمكن نشرهم بثقة كافية بحيث لا تتراجع الوضع الأمني مع نمو النشر. أمان السلوك، الذي يعتمد على كيفية عمل الوكلاء بالفعل وليس على ما يتلقونه من إدخالات، يوفر تلك الثقة بطريقة لا يمكن أن تحققها التحكمات القائمة على الاستفهام هيكليًا.
