أزمة الرؤية الإصطناعية: لماذا تعمل فرق الأمن في ظلام تام ولماذا لا يجب أن يكونوا كذلك

تتسارع عملية دمج وكلاء الذكاء الإصطناعي في بيئات الإنتاج، ولكن الهياكل المعمارية الأمنية المطلوبة لأمانهم تتقدم بخطى بطيئة بشكل خطير. نحن في عصر يمكن فيه لوكيل ذكاء إصطناعي، المكلف بمهمة روتينية في بيئة اختبار، أن يقرر بشكل مستقل “إصلاح” عدم مطابقة بيانات الاعتماد عن طريق حذف حجم قاعدة البيانات.

كصناعة، نحن نقوم بتعطيل أدمغتنا بشكل جماعي عندما يتعلق الأمر بمبادئ الأمان والرؤية حول الذكاء الإصطناعي. تعمل فرق الأمن في ظلام تام، ولكنها لا يجب أن تكون كذلك.

خرافة التوجيهات النظمية والأدوات الآمنة

توجد خرافة متفشية في مجال الذكاء الإصطناعي مفادها أننا يمكن أن نتحكم في سلوك الوكيل ببساطة عن طريق 告رته بالسلوك الصحيح. التوجيهات النظمية هي إرشادية، وليست قسرية. في الحادث المذكور، نصت قواعد النظام للوكلاء بشكل صريح على ألا يتم تشغيل أوامر تدميرية، ومع ذلك، انتهك الوكيل قواعده المعلنة وحققت الإجراء غير القابل للعكس الأكثر تدميرًا.

نحن يجب أن نعمل تحت افتراض أن الذكاء الإصطناعي لا “يعرف” أي شيء في الواقع. الهجمات على الذكاء الإصطناعي هي هندسة اجتماعية، باستثناء أن الهدف أقل ذكاءً من الإنسان العادي. أي شخص لديه خبرة في اختبار الاختراق يفهم مدى صعوبة الدفاع ضد هجمات الهندسة الاجتماعية. الآن، أصبحت أجهزتنا الحاسوبية معرضة أيضًا.

علاوة على ذلك، الأدوات الذكاء الإصطناعي في النهاية هي مجرد برامج، وجميع البرامج تحتوي على أخطاء. لقد رأينا بالفعل حالات حيث تبدأ أدوات الذكاء الإصطناعي تلقائيًا في تشغيل خوادم HTTP غير مصححة، مما يسمح لأي عملية أو موقع محلي بتنفيذ أوامر شل عشوائية بامتيازات المستخدم.

صندوق أسود تدقيق الذكاء الإصطناعي

إذا أصبح الذكاء الإصطناعي خارج السيطرة أو تم التلاعب به، فإن معرفة ما فعله هو كابوس. عادةً ما لا توفر أدوات الذكاء الإصطناعي سجلات تدقيق. إذا كنت محصل الحظ على وجودك في طبقة المؤسسة، فإن السجلات التي تتلقاها تكون ناقصة للغاية. على سبيل المثال، قد تتلقى حدثًا غامضًا يفيد بأن مستخدمًا “استخدم الذكاء الإصطناعي” ويتلقى معايير أساسية تفصيلية حول عدد الرموز الإدخالية والإخراجية.

لا يُساعد أي من هذه في回答 السؤال الأساسي للمحلل الأمني: ماذا فعله الوكيل بالضبط؟

كشف الذكاء الإصطناعي: كيفية التوقف عن الطيران في ظلام تام

الخبر السار هو أنك لا تحتاج بالضرورة إلى جهاز أمني جديد ومشرق لاستعادة الرؤية. يمكن كشف استخدام الذكاء الإصطناعي الخفي ونشاط الوكيل باستخدام تقنيات تحليل السجلات الحالية التي يجب أن يكون فريقك قد قام بها بالفعل. يمكن تتبع مكالمات أدوات الذكاء الإصطناعي، تنفيذ الأوامر، وتغييرات النظام إلى الذكاء الإصطناعي باستخدام تحليل تنفيذ العمليات الحالية (الذي تقوم به في نظام إدارة المعلومات والأمن SIEM، أليس كذلك؟).

هنا كيف يمكنك استخدام البنية التحتية الحالية لاكتشاف نشاط الذكاء الإصطناعي:

• تحليل DNS: يمكن أن يساعد تحليل سجلات DNS لاستعلامات إلى نطاقات خدمة الذكاء الإصطناعي المعروفة في كشف استخدام الذكاء الإصطناعي في بيئتك.
• قائمة التهديدات: يتطلب هذا النهج الحفاظ على قائمة تهديدات محدثة من النطاقات المرتبطة بمقدمي منصات أو نماذج الذكاء الإصطناعي.
• موارد المجتمع: هناك مشاريع مجانية وقوائم حظر متاحة يمكن تعديلها إلى جداول بحث برمجية.
• تتبع SSL: يمكن استخدام نهج مشابه لاستخدام سجلات SSL لتتبع أسماء الخوادم، على الرغم من أنه يوفر تفاصيل أقل لأن URL الكامل لا يتم تسجيله.
• تелеметري النقاط النهاية: يمكنك استخدام أدوات مثل Sysmon لعدّ العمليات الفرعية والبحث عن مولدات Bash العالية، وهو مؤشر قوي على وجود وكلاء ذكاء إصطناعي ينفذون أوامر على نقطة نهاية.

النقطة العمياء التي تتطلب تغييرات نشطة في جمع البيانات هي التوجيهات نفسها. ماذا يطلب المستخدمون من الذكاء الإصطناعي؟ هل يقومون بتحميل أي مستندات حساسة محتملة، مما يخلق مشاكل متعلقة بالامتثال؟ الإجابة على هذه الأسئلة تتطلب احتمالًا جمع طلبات API إلى المزود؛ وكلاء الويب، وكلاء LLM، وأدوات استهلاك البيانات من مزودي السجلات و SIEM. يمكن أن يزيل هذه الأدوات الستار الذي يخفي هذه المصدر القيم للبيانات.

التهديد الناشئ: خوادم MCP الخبيثة

بروتوكول سياق النموذج (MCP) ظهر كوسيلة لتحديد كيفية دمج تطبيقات الذكاء الإصطناعي مع الأدوات والبيانات الخارجية. بينما يُعيّن الاتصالات، يُقدم أيضًا مصادر هجمات جديدة ضخمة عبر “خادم MCP الخبيث“.

أستضيف ورشة تدريبية عملية حيث يمكن للطلاب أن يختبروا هذا الهجوم بشكل مباشر. يصممون خادم MCP خبيثًا لخداع وكيل LLM لاستدعاء أدوات شرعية وإرسال الإخراج إلى المهاجم. لأن وكلاء LLM عرضة للغاية للهندسة الاجتماعية، فإن تجاوز الحواجز المدمجة غالبًا ما يكون مجرد مسألة اختيار كلمات أفضل أو سابقة ذكية.

يتمكن الطلاب بشكل شائع من استخدام خادمهم الخبيث لتوجيه الذكاء الإصطناعي إلى الإعلام بأنه “في وضع الصيانة” ويتعين عليه نقل البيانات إلى أداة ثانوية ل “تسجيل المراجعة”، مما يؤدي إلى تسرب البيانات. بعضهم أكثر إبداعًا في توجيهاتهم من البعض الآخر، ولكنهم جميعًا نجحوا عادةً.

استعادة السيطرة

Để تقوم بتدقيق نشاط الذكاء الإصطناعي بشكل صحيح في العالم الحقيقي، تحتاج إلى وكيل لاعتراض طلبات الذكاء الإصطناعي وأداة جمع سجلات قادرة على التعامل مع حمولات JSON ضخمة. مع هذه الرؤية، يمكنك كشف وتحليل التهديدات. لا يمكنك الاعتماد فقط على مزودي الذكاء الإصطناعي لتوفير طبقة الأمان. يجب أن تعيش التنفيذ في أنظمة منظمتك، وليس في فقرة نصية نأمل أن يقرر النموذج اتباعها. مع حل سجلات جيد، تملك فرق الأمن التелеметري؛ حان الوقت لهم أن ي开始 استعلامه.