مراقبة الذكاء الاصطناعي لها ثلاث نقاط عمياء — ومعظم الشركات لا تراقب أيًا منها

معظم محادثات أمان الذكاء الاصطناعي داخل الشركات تستهدف الهدف الخطأ. تقضي الفرق أسابيع في مناقشة أي نموذج لاستخدامه، ثم توصله بنموذج بريدك الإلكتروني، مدفوعاتك، قاعدة بيانات عملائك ورمزك، دون التوقف لطرح سؤال أبسط: عندما يفعل هذا الشيء شيئًا، من يراقب، ومن يمكنه إيقافه؟

الأرقام تقول إن هذا على وشك أن يصبح مكلفًا. يعتقد جارتنر أن ما لا يقل عن 15٪ من قرارات العمل الروتينية سيتم اتخاذها بشكل مستقل بواسطة الذكاء الاصطناعي في عام 2028، مقارنةً بالعدد القليل جدًا في عام 2024. في نفس البحث تحذر من أن أكثر من 40٪ من مشاريع الذكاء الاصطناعي المُحَفَزَة سوف تُلغى بحلول نهاية عام 2027، وواحدة من الأسباب التي تذكرها هي ضعف ضوابط المخاطر. اقرأ ذلك مرة أخرى. المشاريع لا تموت لأن النماذج سيئة. إنها تموت لأن لا أحد بنى طريقةً لتنظيمها.

أنا أبني أنظمة الحوكمة للذكاء الاصطناعي للعيش، لذلك أرى نفس الفجوات مرارًا وتكرارًا. هناك ثلاثة منها. معظم الشركات لا تراقب أيًا منها بشكل صحيح، والكثير لا تراقب شيئًا.

الوكلاء هم الصاخبون

كل شخص قلق بشأن الوكلاء المستقلين، وهم محقون في ذلك. لكن معظم الناس قلقون من الجزء الخطأ. الشيء المزعج في وكيل هو ليس أنه يُفكّر. بل أنه يُفعَل. إنه لا يُقترح العودة؛ بل يدفعها. إنه لا يُصيغ البريد الإلكتروني؛ بل يرسله. إعطاء نموذج مجموعة من الأدوات يعني أنك قدمنته القدرة على الوصول إلى الأنظمة الحقيقية وتغيير الأشياء.

إذا كنت مخطئًا، فإن الفشل ليس عبارة عن جملة غير مُحكمة. بل هو مال يخرج من الباب، أو جدول يتم إسقاطه من قاعدة بيانات بهدوء. وهناك حافة أكثر حدة. تتمثل حقن العرض في أعلى قائمة مخاطر تطبيق LLM، ولسبب وجيه: إذا قدمت نموذج النص الخطأ، فيمكن الحديث معه ليفعل شيئًا لم يُطلب منه. عندما يمكن للنموذج التحدث فقط، فهذا مزعج. عندما يمكن للنموذج استدعاء أدوات، فهذا مهاجم يحمل مفاتيح واجهة برمجة التطبيقات.

الجواب المعتاد هو تسجيل كل ما يفعله الوكيل ومشاهدة الأثر. حسنًا. لكن الأثر هو وصف لشيء حدث بالفعل. إنه تسجيل المراقبة بعد أن تم إفراغ الصندوق، مفيدًا للتحقيق، عديم الفائدة لمنع السرقة.

الهدوء الذي لا يذكر أحد

النقطة العمياء الثانية لا تظهر على شريحة، لأنها مملة. إنه مجرد مكالمة واجهة برمجة التطبيقات. ليس وكيلًا، وليس إطارًا، بل قطعة من الكود في مكان ما في خدمة تجميع عرض واطلاق النار عليه نموذج.

يبدو معظم الذكاء الاصطناعي في الإنتاج مثل هذا، وهو أقل جزء محكوم في كل العمود بسبب روتينه. إنه طلب HTTP مدفون على ثلاثة طبقات في بعض الخدمات، مكتوب من قبل مهندس لم يسمع عن سياسة الذكاء الاصطناعي ولا يعرف أين يجدها. قد ترسل هذه المكالمة واحدة بيانات العميل إلى نموذج طرف ثالث، أو تنشئ إجراءً في_DOWNSTREAM، ولا شيء يتحقق مما إذا كان يجب ذلك، ولا شيء مستقل يكتب أنه فعل ذلك.

الملوث هو الناس

النقطة العمياء الثالثة هي الناس، وهذا هو أسوأها. اكتشف موظفوك منذ أشهر أن لصق مهمة في ChatGPT أو Claude يجعلها تتم بسرعة أكبر، لذلك يفعلون ذلك طوال اليوم، وعادةً من حسابات شخصية لا يمكنك رؤيتها. هذا ليس افتراضيًا. نظرًا إلى استخدام مكان العمل الحقيقي من قبل Cyberhaven، وجد أن نسبة حقيقية من الموظفين لصقوا بيانات شركة سرية في ChatGPT، معظمهم من خلال حسابات لا تملك الشركة نافذة إلى الداخل.

إذا كنت تريد القصة التحذيرية، فهي سامسونج. في عام 2023 حظرت سامسونج الذكاء الاصطناعي التوليدي داخليًا بعد أن لصق مهندسوها رمزًا مصدرًا ملكيًا في ChatGPT، ثلاث مرات منفصلات في أقل من شهر. لم يكن هؤلاء ممثلي السيئين. كانوا مهندسين جيدين يحاولون تصحيح الأخطاء بسرعة أكبر. هذا هو الفخ كله: التسريب يبدو متطابقًا مع الإنتاجية. وأدوات فقدان البيانات القديمة لن تلتقطه، لأنه نسخ ولصق في علامة تبويب المتصفح، وليس ملفًا يغادر المبنى.

ما يعمل حقًا

إذا قمت بترتيب الثلاثة، فإن الإصلاح يتوقف عن كونه حول الوكلاء تحديدًا ويتحول إلى فكرة واحدة: حكم ما يفعله أي ذكاء اصطناعي قبل أن يفعله، لا بعده. بعض الأشياء التي تهم حقًا، تمت دراستها معظمها بالطريقة الصعبة.

اجلس أمام الإجراء، لا خلفه. هذا هو كل اللعبة، وهذا هو السبب في أنني أصر على أن المراقبة والحوكمة ليسا نفس الكلمة. لوحة تحكم تخبرك أن الوكيل نقل 40,000 جنيه إسترليني بالأمس هو تقرير خسارة. شيء يمكنه حجز ذلك النقل لشخص يبحث قبل أن يغادر هو تحكم. إذا كان نظامك يمكنه فقط إخبارك بما حدث، فلا تملك رؤية. لديك رؤية خلفية.

استخدم نقطة تفتيش واحدة، لا واحدة لكل أداة. الوكلاء، مكالمات واجهة برمجة التطبيقات، وموظفون يلصقون في chatbot يشعرون بالمشاكل المنفصلة، لذلك تشتري الشركات أدوات منفصلة وتنتهي بنقاط بينها. الأشياء السيئة تعيش في الفجوات. كل ما يفعله الذكاء الاصطناعي، من أي مكان يأتي، يجب أن يمر عبر نفس البوابة.

احتفظ بسجل الذكاء الاصطناعي لا يمكنه كتابته. إذا كان النظام الذي يفعله هو أيضًا الشيء الوحيد الذي يسجل أنه فعل ذلك، فلا تملك سجلًا. لديك مذكرة يسمح له بالتحرير. هذا هو بالضبط حيث تتجه القواعد. متطلب تسجيل الذكاء الاصطناعي في قانون الذكاء الاصطناعي الأوروبي، المادة 12، موجود حتى يمكن إعادة بناء ما فعله نظام مخاطر عالية بواسطة شخص ما غير النظام. في الممارسة، هذا يعني سجلًا يتم الاحتفاظ به خارج الشيء المسجل، والذي لا يمكن تعديله بهدوء بعد الحادث.

ضع إنسانًا على المكالمات الكبيرة غير القابلة للإلغاء. ليس كل شيء، افعل ذلك وستغرق الناس في الموافقات حتى يختمونها جميعًا. لكن المكالمات التي لا يمكنك إرجاعها، مثل نقل الأموال أو تصدير البيانات أو حذف السجلات، يجب أن تتوقف وتنتظر. يُجعل قانون الذكاء الاصطناعي الأوروبي إشرافًا بشريًا إلزاميًا لأنظمة مخاطر عالية، المادة 14. القبض على القيمة هو أن الإشراف يعتبر فقط إذا كان الشخص لديه الوقت والسياق لفعل ذلك. الموافقة التي لا يقرأها أحد مجرد مسرحية.

فحص البطن الصادق

لا واحدة من هذه الثلاثة هي حالة نادرة. إنها الطريقة العادية التي تعمل بها معظم الشركات الذكاء الاصطناعي الآن، بهدوء، دون شبكة أمان. الفرق التي ستتخطى السنوات القليلة القادمة دون حادثة قبيحة لن تكون تلك التي تملك الرسومات الأكثر جمالًا. سوف تكون تلك التي قررت في وقت مبكر أن كل ما يفعله الذكاء الاصطناعي، الوكيل، مكالمة واجهة برمجة التطبيقات، الجملة المُلصقة، يمر عبر بوابة واحدة قبل أن يحدث، لا بعده.

إذا كنت تريد اختبارًا سريعًا لإعدادك الخاص، فأجب عن سؤالين بصدق. من بين هذه الثلاثة أسطح، كم يمكنك رؤيته؟ ومن بين تلك التي يمكنك رؤيتها، كم يمكنك إيقافها؟بالنسبة إلى الكثير من الشركات، الجواب الصادق للثاني هو صفر. هذا هو الرقم الذي يجب إصلاحه أولاً.