من يراقب الوكلاء؟ العصر الجديد لمراقبة الذكاء الاصطناعي

عند مناقشة وكلاء الذكاء الاصطناعي، يتخيل معظم الناس صورة لأنظمة ذكية تفعل على أنها، وتفعل أشياء غير متوقعة. لذا، في يوم ما، قد يكون الوكيل-الأمين مفيدًا بشكل لا يصدق، وفي اليوم التالي، قد يقدم بيانات حساب البنك إلى شخص عشوائي.

الجزء “الذكي” لا يهم في هذه القلق. القضية الرئيسية ليست كيف “ذكي” وكيل الذكاء الاصطناعي، ولكن كم من الحرية والوصول إلى البنية التحتية له.

في الممارسة، يتم تعريف قيمة الوكيل بأقل من مستوى ذكائه، وأكثر من حدود سلطته. حتى وكيل بسيط نسبيًا، بمجرد منحه الوصول إلى مجموعات البيانات، والنظم الشركية، والعمليات المالية، أو واجهات برمجة التطبيقات الخارجية، يكتسب القدرة على التأثير على العمليات بمقياس ي đòiى انتباهًا خاصًا ومراقبة.

لهذا السبب، أصبحت أنظمة المراقبة والاحتواء أكثر أهمية، ليس فقط على مستوى النموذج، ولكن أيضًا على مستوى سلوكها داخل البنية التحتية.

ليس من قبيل الصدفة أن المبادرات التي تهدف إلى مراقبة نشاط الوكيل وتحكمه قد اكتسبت زخمًا في السنوات الأخيرة. هذه الحلول العملية يتم تنفيذها بالفعل من قبل شركات التكنولوجيا الكبيرة.

كيف يعمل الوكيل

للفهم كيف تعمل المراقبة، يجب أن ننظر أولاً إلى ما يتكون منه الوكيل. في مصطلحات مبسطة، يمكن رؤيته على أنه مزيج من النواة المعرفية، “الدماغ” والأدوات.

الأدوات هي خدمات خارجية وتكاملات يمكن للوكيل الوصول إليها. على سبيل المثال، لوكيل السفر، يمكن أن تشمل هذه الأدوات Booking.com أو Airbnb لfinding الفنادق، ومجمعات الطيران لشراء التذاكر، والأنظمة الدفعية أو بطاقات البنك لعمليات الدفع. بمفردها، هذه الأدوات ليست ذكية؛ إنها تسمح فقط للوكيل بالعمل في العالم الحقيقي.

النواة المعرفية هي نموذج لغة. يسمح للوكيل بالعمل بشكل معنوي مع الطلبات الصيغها البشر. على سبيل المثال، الطلب “أريد الطيران إلى أوروبا لمدة ثلاثة أيام في الشهر المقبل، حيث يكون الجو لطيفًا” غامض للغاية. يسأل الوكيل نموذج اللغة “تقسيم الطلب إلى فئات”. في الاستجابة، يتلقى معاملات متسلسلة: أين، متى، لمدة كم، و تحت أي ظروف.

في السابق، كان ChatGPT يولد استجابات نصية فقط. الآن، مدمجًا في وكيل، يصبح مزيجًا من “الدماغ + الأدوات”، قادرًا ليس فقط على الشرح ولكن على العمل. يهيكل نموذج اللغة المهمة، وتسمح الأدوات له بتنفيذ إجراءات محددة.

كيف تعمل المراقبة

في هذه المرحلة، تدخل نظام المراقبة حيز التنفيذ. أسمي هذا الحل الأماني “كلب حراسة” (منذ فترة، كنت أفكر حتى في إنشاء شركة ناشئة تركز على هذا)، نوع من الكلب المحمي مدمج في الوكيل. مهمته مراقبة إجراءات الوكيل وتحقق منها مقابل الطلب الأصلي. الهدف هو ضمان عمل الوكيل داخل الحدود المقصودة.

نعود إلى مثال السفر: لنفترض أن مستخدمنا يريد حجز رحلة لمدة ثلاثة أيام إلى أوروبا. يتفاعل الوكيل مع خدمات الطقس، وتذاكر الطيران، والبنك لحساب الدفع. كل شيء يبدو طبيعيًا. لكن فجأة، يلاحظ “كلب الحراسة” أن الوكيل يطلب الوصول إلى قاعدة بيانات شركية أو حساب بنكي غير مرتبط بدفع الرحلة. هذا يؤدي إلى تنبيه أماني ويدل على سلوك مشبوه.

من المهم فهم النطاق: قد يخدم الوكيل آلاف المستخدمين يوميًا، مع كل طلب يؤدي إلى مئات من العمليات، مما يؤدي إلى ملايين الإجراءات. يتحليل “كلب الحراسة” جميع الإجراءات وينتج إحصائيات. قد تشير التقارير إلى: “13% من الإجراءات كانت زائدة، 7% تتعلق بأمان مالي”. تفاصيل إضافية توضح الإجراءات المحددة التي بدت مشبوهة.

يسمح هذا الأداة للمطورين برؤية الصورة الكاملة والاستجابة بسرعة للشذوذ، مما يشكل حلًا عمليًا لمراقبة الذكاء الاصطناعي يجمع بين المراقبة في الوقت الفعلي، وكشف الشذوذ، والمساءلة.

من ينتفع من “كلب الحراسة”: المطورون أم المستخدمون؟

في المقام الأول، يُقصد بـ “كلب الحراسة” المطورين لضمان عمل النظام بشكل صحيح. ومع ذلك، يمكن تصور نسخة خارجية: وكيل مراقبة منفصل يراقب الوكيل الرئيسي. هذا يضيف طبقة أخرى من سلامة الذكاء الاصطناعي، ويوسع المراقبة إلى ما وراء النظام الداخلي.

هناك حد مهم: يبقى العملية الداخلية للوكيل “مغلقًا”. يمكننا فقط مراقبة سلوكه، وليس عملياته المعرفية. تشبيه مع البشر: يمكنني رؤية شخص ما يرفع الهاتف، ويتصل برقم، ويتحدث. لكنني لا أعرف الرقم الذي تم الاتصال به، أو النية، أو ما تم قوله. بشكل مشابه، يرى المراقب الخارجي إجراءات الوكيل وليس نواة معرفته.

ملاحظة أخرى مثيرة للاهتمام: قد يحاول الوكلاء في المستقبل تجاوز أو تعطيل مراقبيهم، تمامًا كما ي مقاوم البشر المراقبة المستمرة. في حين أن هذا قد يبدو مثل الخيال العلمي اليوم، إلا أنه ممكن. دمج حلول سلامة الذكاء الاصطناعي الداخلية، وكشف الشذوذ، والمراقبة المتعددة يمكن أن يساعد في تخفيف هذه المخاطر والحفاظ على السيطرة على الأنظمة المتزايدة في الاستقلالية.

قواعد بدائية أو تحليل متأصل في السياق؟

اليوم، تعمل أنظمة “كلب الحراسة” هذه على مبدأ بسيط: “مسموح” أو “غير مسموح”. على سبيل المثال، إذا قالت القاعدة “الوصول إلى Amazon ممنوع”، والوكيل يذهب هناك، يتم تسجيل انتهاك. لكن هذا النهج لا يفهم السياق.

نظام أكثر تطورًا يجب أن يتحليل الانتهاك وسببها. لماذا ذهب الوكيل إلى Amazon؟ هل كان مبررًا فيما يتعلق بالمهمة؟ هنا، نتحدث عن مراقبة متأصلة في السياق، مشابهة لعمل психолог.

لحد الآن، توجد هذه الحلول فقط كconcept. الأنظمة الحالية محدودة بالسيطرة الصارمة على الأسود والأسود. لكن في المستقبل، مع زيادة تعقيد الوكلاء، سوف يظهر “كلب حراسة” قادر على مراعاة السياق.

اليوم، نشهد نموًا في مبادرات مراقبة الوكلاء. يتم تطويرها بنشاط على مستوى أكبر الشركات التكنولوجية. على سبيل المثال، تعمل ActiveFence مع لاعبين كبيرين مثل NVIDIA وAmazon.

علاوة على ذلك، من الآمن افتراض أن Google وOpenAI وAnthropic وAmazon يستخدمون بالفعل أنظمة “كلب حراسة” داخلية، وتحليلات، وتелеметري.

لقد لاحظت هذا الطلب بين عملاء Keymakr الشركات أيضًا – المراقبة والرصد أصبحت جزءًا أساسيًا من بنية تحتية الذكاء الاصطناعي. بدونها، لن يكون من الممكن نشر الوكلاء على نطاق واسع.