لماذا تُعدّ إجراءات الحماية الخاصة ببرامج الدردشة الآلية حدودًا أمنية خاطئة؟

لقد تجاوز الذكاء الاصطناعي المؤسسي مرحلة إثبات المفهوم بكثير. 23% من المؤسسات تقوم بالفعل بتوسيع نطاق أنظمة الذكاء الاصطناعي الوكيلة في مكان ما ضمن مشروعهم، و 62% على الأقل يجربون وكلاء الذكاء الاصطناعيهذه ليست مشاريع بحثية. إنها عمليات نشر إنتاجية، مدمجة في سير العمل الذي يلامس مستودعات التعليمات البرمجية وبيانات العملاء وواجهات برمجة التطبيقات الداخلية والبنية التحتية التشغيلية.

ركزت استجابة القطاع لهذا النمو بشكل كبير على ما يحدث قبل بدء تشغيل البرنامج. وقد بذل البائعون والباحثون جهوداً كبيرة في ضمانات ما قبل النشر. نشر سياسات التوسعوتشمل هذه التحسينات تقوية النماذج الأساسية، وتصفية المدخلات، وتأمين سلسلة توريد الذكاء الاصطناعي، وفرض التوافق أثناء التدريب. وقد قام كبار مزودي خدمات الذكاء الاصطناعي بذلك. استثمارات كبيرة في أدوات الأمان الموجهة للمطورين، يتم تعزيز افتراض مركزي: إذا تم التحكم في النموذج ومدخلاته، يمكن احتواء المخاطر اللاحقة.

إنها غريزة معقولة، لكنها غريزة غير مكتملة بشكل متزايد.

لا يمثل التنبيه محيطًا أمنيًا

تُفيد إجراءات الحماية التي تعمل على مستوى واجهة النموذج بشكل أساسي الفرق التي تتحكم في كود التطبيق، وتكوين النموذج، والبنية التحتية الأساسية. لكنها توفر حماية أقل بكثير للمدافعين المكلفين بتأمين أنظمة الذكاء الاصطناعي التي لم يبنوها ولا يمكنهم تعديلها. وهذه ثغرة كبيرة، وقد اكتشفها المهاجمون بالفعل.

أحدث تقرير استخباراتي حول التهديدات من OpenAI توثق هذه الدراسة هذه الديناميكية بدقة. إذ يستغل المهاجمون برنامج ChatGPT وأدوات مشابهة له في بيئات الإنتاج، ليس عن طريق ابتكار أساليب هجوم جديدة، بل عن طريق دمج الذكاء الاصطناعي في سير العمل الحالي لتسريعه. يصبح الاستطلاع أكثر فعالية، وتتوسع الهندسة الاجتماعية، ويتسارع تطوير البرمجيات الخبيثة. لم يتغير نطاق الهجوم جوهريًا، بل تغيرت سرعة وحجم الاستغلال.

الأمر الأكثر دلالة هو كيفية استجابة المهاجمين عندما تصدّت لهم تلك الأدوات. لاحظت OpenAI أن الجهات الفاعلة في مجال التهديدات تُغيّر نصوصها بسرعة، محافظةً على النية الكامنة مع تغييرها بشكل سطحي لتجاوز ضوابط الواجهة الأمامية. هذا نمطٌ رآه خبراء الأمن من قبل. الدفاعات الثابتة، سواءً كانت برامج مكافحة فيروسات تعتمد على التوقيعات أو تصفية المدخلات، لا تصمد أمام الخصوم الذين يُطوّرون أساليبهم بوتيرة أسرع من قدرة تحديثات القواعد على مواكبتها.

يتفاقم التحدي مع ازدياد استقلالية الأنظمة الذكية. فالأنظمة الذكية الحديثة لا تعمل ضمن تبادل بيانات واحد، بل تنفذ تسلسلات إجراءات متعددة الخطوات، مستخدمةً أدوات وصلاحيات مشروعة بطرق تبدو طبيعية تمامًا عند النظر إليها بمعزل عن بعضها. فاستخدام النظام لبيانات اعتماد صحيحة لحصر واجهات برمجة التطبيقات الداخلية لا يُثير أي تنبيه. كما أن وصول النظام إلى مخازن بيانات حساسة خلال ما يبدو كعمل روتيني لا يُولّد أي إشارة فورية. كل إجراء على حدة يجتاز الفحص، لكن الخطر يكمن في الجمع بين هذه الإجراءات وتسلسلها.

عندما ينتقل التهديد إلى أسفل النهر

تواجه فرق الأمن التي تدافع عن تطبيقات الذكاء الاصطناعي اليوم خللاً هيكلياً. فالأدوات المتاحة لها مصممة في الغالب لتحديد ما يُسمح للنموذج بقوله. أما الخطر الحقيقي الذي يتعين عليها إدارته فهو ما يفعله هذا البرنامج عبر الأنظمة والشبكات والهويات بمجرد منحه الصلاحيات وإطلاقه في بيئة الإنتاج.

تشترك إجراءات الحماية القائمة على التنبيهات في نقاط الضعف الأساسية لأساليب الأمن السابقة القائمة على القواعد. فهي هشة لأنها تعتمد على التنبؤ بأنماط الهجوم مسبقًا، وتفاعلية لأنها تتطلب وجود شخص ما لمراقبة التهديد وتصنيفه قبل أن تتمكن الحماية من العمل، كما أنها تتخلف عن ركب الخصوم الذين اعتمدوا التكرار المدعوم بالذكاء الاصطناعي كممارسة معيارية. إن المدافع الذي يعتمد على تصفية المدخلات لكشف المهاجم الذي يستخدم نموذجًا لغويًا لتوليد تنويعات جديدة للتنبيهات، يكون في موقف خاسر بشكل أساسي.

تظهر المخاطر الحقيقية بعد النشر. تنتشر الإجراءات التي تُنفذها البرامج الوسيطة عبر البيئات بطرق لا يمكن لأي اختبار قبل الإطلاق توقعها بالكامل. تواجه هذه البرامج حالات استثنائية، وتتفاعل مع مصادر بيانات لم تُصمم للتعامل معها، وتتلقى مدخلات من أنظمة خارج البنية الأصلية، وتتخذ قرارات تتراكم بمرور الوقت. اختبار ما قبل النشر هو مجرد لقطة، بينما الإنتاج عبارة عن تدفق مستمر. إن الاكتفاء بالدفاع عن اللقطة يعني التسليم بأن كل ما يحدث في هذا التدفق غير مراقب فعليًا.

تحويل حدود الأمان إلى سلوك الوكيل

يتطلب بناء مرونة الذكاء الاصطناعي إطارًا مختلفًا، ولا ينبغي أن يكون الهدف حماية واجهة النموذج، بل كشف نوايا المهاجم من خلال النتائج الملحوظة لأفعال الوكيل. هذا تمييز جوهري، فالنية لا تظهر دائمًا في أقوال الوكيل أو المدخلات التي يتلقاها.

يجب أن يتجاوز تأمين أنظمة الذكاء الاصطناعي مجرد فحوصات التوافق وتقييمات المتانة، ليشمل التقييم المستمر لسلوك الوكلاء عند تفاعلهم مع الأدوات الحقيقية وواجهات برمجة التطبيقات الحقيقية والبيانات الحقيقية. يُعد التقييم الثابت عند النشر ضروريًا ولكنه غير كافٍ، إذ تتغير بيئة التهديدات التي يعمل فيها الوكيل باستمرار، لذا يجب مراقبة سلوكه بنفس القدر من الاستمرارية.

هذه مشكلة لا يمكن حلها بالتحصين الفوري. يتطلب اكتشاف النوايا الخبيثة فور ظهورها من خلال تسلسل الإجراءات نماذج قادرة على فهم السلوك المعقد والمتسلسل في بيئات التشغيل. تستطيع نماذج التعلم العميق الأساسية، المصممة خصيصًا لتحليل السلوك، القيام بذلك بطرق لا تستطيع الأنظمة القائمة على القواعد وأدوات إدارة معلومات الأمان والأحداث التقليدية القيام بها. فهي تتعلم كيف يبدو الوضع الطبيعي في سياق نشاط الوكلاء بالكامل، وتكشف عن الانحرافات التي تشير إلى حدوث تغيير ما، حتى عندما لا يؤدي أي إجراء فردي إلى إطلاق تنبيه تقليدي.

يبقى المنطق الأساسي قائماً بغض النظر عن سياق النشر: فالأمن المرتكز على مستوى الاستجابة سيخسر باستمرار أمام المهاجمين الذين يعملون على مستوى التنفيذ. لذا، يجب أن ينتقل الدفاع إلى حيث يكمن التهديد فعلياً.

ما الذي يجب على فرق الأمن فعله الآن؟

بالنسبة لقادة الأمن الذين يحاولون استباق هذا الأمر، يمكن لبعض التحولات العملية أن تسد الفجوة بين الوضع الحالي للدفاعات والوضع الذي ينبغي أن تكون عليه.

قيّم أمان الذكاء الاصطناعي عبر كامل بنية التطبيق. يُمثل النموذج الأساسي طبقةً واحدةً فقط. وبنفس القدر من الأهمية، كيفية تصرف الأنظمة الذكية بعد نشرها في بيئة الإنتاج، والأدوات التي تستخدمها، والصلاحيات التي تعتمدها، وكيف تتطور هذه الخيارات بمرور الوقت. إن تقييمات الأمان التي تتوقف عند حدود النموذج تُهمل إلى حد كبير الجوانب التشغيلية.

فرض مبدأ أقل الامتيازات على مستوى الوكيل. يجب أن يقتصر وصول وكلاء الذكاء الاصطناعي على الأدوات وواجهات برمجة التطبيقات والبيانات الضرورية لأداء وظائفهم المحددة. هذا القيد مهم حتى عندما تبدو مخرجات الوكيل غير ضارة. يساهم تقييد النطاق في تقليل مدى تأثير الوكيل المخترق، ويخلق أسسًا سلوكية أوضح، مما يجعل اكتشاف الحالات الشاذة أكثر فعالية.

تعامل مع العملاء كهويات تُولّد بيانات عن بُعد. كل إجراء يقوم به العميل يُعدّ نقطة بيانات. يجب على فرق الأمن بناء منطق الكشف حول سلاسل الإجراءات التي يبدأها العميل، وليس فقط على مطالبات المستخدم التي تسبقها. هذا التغيير في الإطار يُحوّل المراقبة من التركيز على ما طلبه المستخدم من العميل إلى التركيز على ما فعله العميل فعليًا، وهنا تتضح نوايا المهاجم.

استثمر في المراقبة السلوكية المستمرة باستخدام نماذج كشف مصممة خصيصًا لهذه المهمة. يتطلب تحديد النوايا الخبيثة فور ظهورها من خلال تسلسل الإجراءات قدرات متخصصة. صُممت أدوات المراقبة التقليدية لأنماط النشاط البشري. أما سلوك الوكلاء، بسرعته وحجمه وبنيته متعددة الخطوات، فيتطلب بنية تحتية للكشف مصممة من الصفر مع مراعاة هذا السياق.

أعطِ الأولوية للدفاع الجماعي. تتطور أساليب الهجوم المدعومة بالذكاء الاصطناعي بوتيرة أسرع من قدرة أي منظمة بمفردها على مواكبتها. لا يُعد البحث المشترك والتعاون المفتوح ومعلومات التهديدات المجتمعية عناصر اختيارية لاستراتيجية أمن الذكاء الاصطناعي، بل هي مدخلات أساسية. فالمدافعون الذين يواكبون التطورات هم من يساهمون في المعرفة الجماعية ويستفيدون منها.

الأمن السلوكي يحقق النتائج المرجوة

بالنسبة لفرق الأمن التي تُجري هذا التحوّل، فإنّ العائد العملي ملموس. فربط الكشف بسلوك البرنامج بدلاً من مخرجات النموذج يُتيح تحديد النوايا الخبيثة في وقتٍ مُبكر، حتى عندما تكون الهجمات خفية أو مُتكيّفة أو مُشفّرة. لا يزال على المُهاجمين الذين يُغيّرون مُطالباتهم بنجاح لتتجاوز مُرشّحات الإدخال أن يتصرّفوا. وتترك هذه الإجراءات آثارًا. ويكشف الكشف السلوكي هذه الآثار قبل أن ينتشر الضرر.

ولعلّ الأهم من ذلك، أن هذا النهج يمنح المؤسسات مسارًا موثوقًا لنشر وكلاء الذكاء الاصطناعي على نطاق واسع دون قبول مخاطر أمنية متناسبة. فالسؤال الذي يعيق العديد من المؤسسات ليس ما إذا كان بإمكان وكلاء الذكاء الاصطناعي تقديم قيمة مضافة، بل ما إذا كان بالإمكان نشرهم بثقة كافية تضمن عدم تدهور الوضع الأمني ​​مع ازدياد حجم النشر. يوفر الأمن السلوكي، القائم على كيفية عمل الوكلاء فعليًا وليس على المدخلات التي يتلقونها، هذه الثقة بطريقة لا تستطيع الضوابط القائمة على التوجيهات توفيرها هيكليًا.

رُسمت حدود الأمان في غير موضعها، وكان هذا الخطأ منطقيًا عندما كان الذكاء الاصطناعي أداة تنتظر المدخلات. أما الآن، فلم يعد ينتظر، فالأنظمة الذكية تتصرف وتتسلسل وتتصاعد وتتراكم عبر بيئات لم يتوقعها أي اختبار قبل النشر. ستكون المؤسسات التي تُدرك هذا مبكرًا هي التي ستُوسّع نطاق الذكاء الاصطناعي بثقة. أما البقية، فسيقضون السنوات القليلة القادمة في اكتشاف، من خلال كل اختراق، أن التحكم فيما يقوله النموذج لم يكن أبدًا هو نفسه التحكم فيما يفعله.