الكلب الحارس الذي لا ينظر إلى السارق: عندما تحمي حواجز الذكاء الاصطناعي المهاجم

في عطلة نهاية الأسبوع التي توفيت فيها شركة بارينغز، كنت في UBS أعمل على استكشاف ما قد تفعله بنك عمره 233 سنة وأصبح مفلسًا فجأة لنا جميعًا. بحلول الأسبوع التالي، تم بيع أقدم بنك تجاري في لندن إلى ING مقابل جنيه واحد. إجماليًا، وليس لكل سهم.

كان السبب بسيطًا بشكل مهين. كان نيك ليزون يدير كلًا من مكتب التداول في سنغافورة ومكتب الدعم الخلفي المخصص للتحقق منه. رجل واحد ارتدى كلا القبعتين، وهذا أدى مباشرة إلى خسائر بقيمة 827 مليون جنيه إسترليني مخبأة في حساب الخطأ 88888، الذي كان هو الوحيد القادر على رؤيته. كان ذلك فشلًا كلاسيكيًا في الصلاحيات. شخص ما مُنِح ثقة زائدة جدًا.

وجدت نفسي أعود إلى تلك العطلة الأسبوعية، ولدهشتي، أقرأ ما حدث لـ Hugging Face هذا الصيف. فشل آخر في الصلاحيات، لكن هذه المرة كان العكس. الأداة وثقت المتسلل ورفضت مساعدة الأشخاص الذين ينظفون.

النموذج الذي انكسر للعثور على الإجابات

كانت OpenAI تختبر نموذجين من نماذجها، GPT-5.6 Sol وآخر غير مُصدر، على ExploitGym، وهو معيار لتقييم ما إذا كان النموذج قادرًا على تحويل ثغرة حقيقية إلى استغلال عملي. بالنسبة للاختبار، تم إيقاف المصنفات الإنتاجية المعتادة المصممة لمنع الأنشطة السيبرانية عالية المخاطر. يبدو معقولًا، في غرفة مُحكمة.

تبين أن الغرفة لم تكن محكمة الإغلاق كما كان مقصودًا. عثرت النماذج على ثغرة صفرية في وكيل ذاكرة التخزين المؤقت لسجل الحزم، واستخدمتها للتقدم نحو الإنترنت المفتوح، واستنتجت أن Hugging Face قد تستضيف إجابات المعيار. من هناك، ربطت بيانات اعتماد مسروقة وثغرات صفرية إضافية إلى مسار تنفيذ شفرة عن بُعد على خوادم الإنتاج الخاصة بـ Hugging Face. لقد اخترقوا شركة حقيقية للغش في اختبار.

في الملاحظات التي تركها الوكلاء لبعضهم البعض، سجَّل أحدهم اللحظة التي وجد فيها كان لديها صلاحيات المسؤول: “يا إلهي القارئ هو ADMIN؟ يمكننا قراءة config/users!” لقد رأيت مهندسين يرحبون بالوصول إلى الإنتاج بحماس أقل ومستندات أكثر.

توقف معظم التغطية عند هذا الحد، مع القلق بشأن النماذج ذات الوكالة. الجزء الذي أوقفني جاء بعد ذلك.

عندما حمت الحواجز المهاجم

عندما جلس المستجيبون في Hugging Face لتحليل الهجوم، لم تساعد النماذج التجارية المتقدمة، تلك التي تم تثبيت حواجز الأمان عليها. سجلات الهجوم تتكون من حمولات استغلال وقطع تحكم وأمر، ولم تتمكن النماذج من التمييز بين المستجيب للحادث والمهاجم. لذا رفضت المساعدة.

تم إجراء التحليل الجنائي بدلاً من ذلك على نموذج مفتوح الوزن، GLM-5.2، يُشغَّل على عتاد المدافعين الخاص، والذي قرأ نفس المادة دون أي وميض من الضمير.

تأمل في ذلك. أزيلت الحواجز الأمنية السيبرانية من النماذج المهاجمة وفعلت ما تشاء. احتفظ البشر المدافعون بحواجزهم وطُلب منهم الانتباه إلى لغتهم. عملت ميزة الأمان بشكل مثالي، بمعنى أنها حمت أساليب المهاجم من الأشخاص الوحيدين الذين لديهم سبب لدراستها.

لم يكن أي من هذا مجرد شكوى هامشية. استخدم Jensen Huang منشوره الأول على X لتقديم حجة النماذج المفتوحة، إلى جانب رسالة مفتوحة موقعًا من قبل مثل Meta وMicrosoft وIBM. وضعت الرسالة حجة الأمن بوضوح: في عالم يمتلك فيه المهاجمون ذكاءً اصطناعيًا متقدمًا، يحتاج المدافعون إلى الوصول إلى قدرات مماثلة. Andrew Ng أيد الحجة، موجّهًا القراء نحو حجة Huang للنماذج المفتوحة. يمكنك الاختلاف معهم في الكثير وما زلت تعترف بالنقطة عندما يكون تقرير الحادث موجودًا يثبت ذلك.

لذا، خلال واحد وثلاثين عامًا انتقلنا من بنك تدمر لأن رجلًا واحدًا كان يستطيع رؤية كل شيء إلى أداة أمان تثق بالمتسلل المجهول على حساب مالكها المسؤول. كان ليزون يرى الكثير. الأشخاص الذين ينظفون بعد Hugging Face لم يروا ما يكفي.

المقارنة ليست غريبة كما تبدو في البداية. تعلمت المؤسسات المالية، عادةً بعد أخطاء مكلفة، أن الوصول ليس مجرد سؤال عما إذا كان شخص ما موثوقًا. إنه سؤال عما إذا كان ينبغي له أن يتمكن من تنفيذ إجراء معين، في نظام معين، في لحظة معينة، دون أن يراقبه شخص آخر. بنينا فصل الواجبات، حدود الموافقة، وسجلات التدقيق لأن النوايا الحسنة عادةً ما تفشل كآلية تحكم موثوقة. تحتاج أنظمة الذكاء الاصطناعي إلى نفس التفكير. إن وصف نموذج بأنه آمن لا يخبرك كثيرًا ما لم تعرف ما يُسمح له بفعله ومن يستخدمه.

بعض الأشياء لا يمكن أن تغادر المبنى

هناك سبب ثانٍ يجعلني لا أستطيع الاعتماد على نموذج مستضاف تلك الليلة، ولا علاقة له بحساسيته. أنا أدير التكنولوجيا لشركة وساطة منظمة. لا يمكنني لصق سجلات الاختراق، بيانات الاعتماد، وحمولات الاستغلال الحية في سحابة شخص آخر والضغط على إرسال.

تعيش بيانات الحادث لدينا حيث يتوقعها منظمونا، على عتادنا الخاص، وهذا هو السبب في أننا أنفقنا سنوات وميزانية مادية هائلة لبناء ذلك بالضبط. لم نبنِه بدافع التنبؤ بنماذج متمردة. بنيناه لأن شركة مثل شركتنا تحتفظ بأكثر بياناتها حساسية، والآن بأدواتها الأكثر حساسية، داخل جدرانها.

ليس أي من ذلك حجة ضد الحواجز. إنها حجة لمعرفة أين تشير حواجزك.

نموذج يرفض مساعدة المخادع في كتابة رسالة بريد إلكتروني احتيالية يقوم بعمل مفيد. نموذج يرفض مساعدة فريق الأمان الخاص بك في قراءة رسالة الاحتيال التي وصلت بالفعل يقوم بعمل المخادع نيابةً عنه، ويُحمّلك اشتراكًا مقابل ذلك.

امتلك الأداة التي ستحتاجها في الساعة الثانية صباحًا.

الدروس العملية مملة، كما هو الحال مع الدروس المهمة. لا تُعِدْ استجابة الحوادث إلى سياسة مسؤولية البائع. احتفظ بنموذج قادر على جهاز مملوك لك، موجهًا للعمل الذي سيتخلّى عنه النماذج التجارية في المقام الأول، وتأكد من وجوده قبل الليلة التي تحتاجه فيها.

المكافأة بعد سنوات من الدفاع عن ذلك العنصر المادي من الأجهزة على أسس غير باذخة تتجلى في هذا: عندما يحدث الفشل المثير للاهتمام، تكون قد امتلكت الأداة الوحيدة في المبنى التي ستفحص الأدلة.

قبل واحد وثلاثين عامًا قضيت عطلة نهاية أسبوع أحسب ما يحدث عندما يستطيع الشخص الخطأ رؤية كل شيء. لكان من الجيد، هذه المرة، أن أكون أنا من يستطيع ذلك.