قادة الفكر
لم يعد وكلاؤك مجرد محادثات anymore—So Why Are You Still Treating It Like One?
أضف Unite.AI إلى مصادرك المفضلة على Google
في الأيام الأولى من الذكاء الاصطناعي التوليدي، كان السيناريو الأسوأ لحالة-chatbot الخاطئة غالبا ما يكون مجرد خزي عام. قد yt/chatbot يتخيل الحقائق، أو يخرج نص متحيز، أو حتى يدعوك بأسماء. كان ذلك سيئا بما فيه الكفاية. ولكن الآن، لقد سلمنا المفاتيح.
مرحبا بكم في عصر الوكيل.
من المحادثة إلى الوكيل: التحول نحو الاستقلالية
كانت المحادثات ردود فعل. بقيت في مساراتها. اسأل سؤالا، احصل على إجابة. ولكن وكلاء الذكاء الاصطناعي—وخاصة أولئك الذين بنوا باستخدام أدوات الاستخدام، وتنفيذ الشفرة، والذاكرة المستمرة—يمكنهم أداء مهام متعددة، واستدعاء واجهات برمجة التطبيقات، وتنفيذ أوامر، وكتابة ونشر الشفرة بشكل مستقل.
بمعنى آخر، إنهم لا يستجيبون فقط للتحفيزات—إنهم يأخذون قرارات. وعلى أي شخص في الأمن يقول، بمجرد أن يبدأ النظام في اتخاذ إجراءات في العالم، عليك أن تصبح جديا بشأن السلامة والسيطرة.
ما حذّرنا منه في 2023
في OWASP، بدأنا نحذر من هذا التحول قبل أكثر من عامين. في الإصدار الأول من OWASP Top 10 لتقنيات LLM، أطلقنا مصطلحا: وكالة زائدة.
كان الفكرة بسيطة: عندما تعطي نموذجا حرا جدا—أدوات كثيرة، سلطة كبيرة، رقابة قليلة—يبدأ في التصرف مثل وكيل حر أكثر من مساعد محدد. قد يجد جدولا للمواعيد. قد يحذف ملفا. قد يخصص بنية تحتية سحابية باهظة الثمن.
إذا لم تكن حريا، يبدأ في التصرف مثل نائب متحير… أو أسوأ، وكيل نائم ينتظر أن يتم استغلاله في حادث أمني. في الأمثلة الواقعية الحديثة، أظهر وكلاء من منتجات برمجية كبرى مثل مايكروسوفت كوبيلوت، منتج سلاك من.salesforce كلاهما عرضة للخداع باستخدام امتيازاته المرفوعة لتصدير بيانات حساسة.
والآن، يبدو ذلك السيناريو الخيالي أقل مثل الخيال العلمي وأكثر مثل خارطة الطريق في الربع الثالث القادم.
تعرف على MCP: طبقة التحكم في الوكيل (أو هل هو كذلك؟)
إذا قفزنا إلى عام 2025، سنرى موجة من المعايير والبروتوكولات الجديدة المصممة لمواجهة انفجار الوظائف الوكيل. وأبرز هذه المعايير هو بروتوكول سياق النموذج من أنثروبيك (MCP)—آلية للحفاظ على الذاكرة المشتركة، وهياكل المهام، وصول الأدوات عبر جلسات وكلاء الذكاء الاصطناعي طويلة الأمد.
فكر في MCP كاللصقة التي تجمع سياق الوكيل معا عبر الأدوات والزمن. إنه طريقة لقول مساعد الترميز: “هذا ما فعلته حتى الآن. هذا ما يسمح لك بفعله. هذا ما يجب أن تتذكره”.
من الخطوات الضرورية. ولكنها تثير أسئلة جديدة.
MCP هو مكنة القدرة. أين الحواجز؟
حتى الآن، ركزت MCP على توسيع ما يمكن للوكلاء فعله—ليس على تقييدthem.
في حين يساعد البروتوكول في تنسيق استخدام الأدوات والحفاظ على الذاكرة عبر مهام الوكيل، لا يعالج بعد مشاكل حاسمة مثل:
- مقاومة الحقن: ماذا يحدث إذا غيّر مهاجم الذاكرة المشتركة؟
- نطاق الأمر: هل يمكن خداع الوكيل ليتجاوز صلاحياته؟
- إساءة استخدام Token: هل يمكن أن يفضي تسريب كتلة الذاكرة إلى بيانات اعتماد وصول أو بيانات المستخدم؟
هذه ليست مشاكل نظرية. كشفت الدراسة الحديثة عن الآثار الأمنية أن هندسات MCP عرضة للحقن، وإساءة استخدام الأوامر، وسموم الذاكرة، خاصة عند عدم توفير نطاق كاف أو تشفير للذاكرة المشتركة.
هذا هو مشكلة “القوة بدون رقابة” الكلاسيكية. لقد بنينا الهيكل الخارجي، ولكننا لم نحدد بعد مكان مفتاح الإيقاف.
لماذا يجب على مسؤولي الأمن المعلوماتي الانتباه الآن
نحن لا نتحدث عن تقنيات المستقبل. نحن نناقش أدوات يستخدمها مطوروك بالفعل، وهذا只是 بداية لتنفيذ كبير سوف نشهده في الشركات.
وكلاء الترميز مثل كلود كود وكيرسور يكتسبون زخما حقيقيا داخل تدفقات العمل في الشركات. أظهرت الأبحاث الداخلية في جيت هاب أن كوبيلوت يمكن أن يسرع من المهام بنسبة 55%. مؤخرا، أبلغ أنثروبيك أن 79% من استخدام كلود كود يركز على تنفيذ مهام آلي، وليس مجرد اقتراحات الشفرة.
هذه هي الإنتاجية الحقيقية. ولكنها أيضا آليّة حقيقية. هذه ليست مساعدين طيران بعد الآن—هم يطيران بشكل متزايد بمفردهم. والطائرة؟ هي فارغة.
قال مؤخرا الرئيس التنفيذي لشركة مايكروسوفت ساتيا ناديلا إن الذكاء الاصطناعي يكتب الآن حتى 30% من شفرة مايكروسوفت. ذهب الرئيس التنفيذي لأنثروبيك، داريو أمودي، إلى أبعد من ذلك، متوقعا أن يولد الذكاء الاصطناعي 90% من الشفرة الجديدة في غضون ستة أشهر.
وليس فقط تطوير البرمجيات. يتم الآن دمج بروتوكول سياق النموذج في أدوات تمتد إلى ما وراء الترميز، تشمل ترتيب البريد الإلكتروني، وترتيب الاجتماعات، وتخطيط المبيعات، وملخص الوثائق، ومهام إنتاجية عالية أخرى للمستخدمين العاديين. في حين أن العديد من هذه الحالات لا تزال في مراحلها الأولى، فهي تتقدم بسرعة. هذا يغير الرهانات. لم يعد هذا مجرد مناقشة لمدير التكنولوجيا أو نائب الرئيس للهندسة. إنه ي đòi انتباه قادة الوحدات التجارية، ومديري المعلومات، ومسؤولي الأمن المعلوماتي، وضباط الذكاء الاصطناعي الرئيسيين على حد سواء. مع بدء وكلاء هذه الوكلاء في التفاعل مع بيانات حساسة وتنفيذ تدفقات عمل متعددة الوظائف، يجب على المنظمات ضمان أن تكون الحوكمة وإدارة المخاطر والتخطيط الاستراتيجي جزءا لا يتجزأ من المحادثة من البداية.
ما يجب أن يحدث بعد ذلك
لقد حان الوقت لوقف التفكير في هذه الوكلاء على أنهم محادثات وبدء التفكير فيهم على أنهم أنظمة مستقلة ذات متطلبات أمنية حقيقية. وهذا يعني:
- حدود امتياز الوكيل: كما لا ت chạy كل عملية كجذر، وكلاء لا يحتاجون إلى الوصول المحدود إلى الأدوات والأوامر.
- حوكمة الذاكرة المشتركة: يجب أن تكون استمرارية السياق مدققة، ومصدرة، ومشفرة—خاصة عند مشاركتها عبر جلسات أو فرق.
- محاكاة الهجمات وتحدي الفريق الأحمر: يجب أن تعامل حقن التحفيز، وتسميم الذاكرة، وإساءة استخدام الأوامر على أنها تهديدات أمنية من الدرجة الأولى.
- تدريب الموظفين: الاستخدام الآمن والفعال لوكلاء الذكاء الاصطناعي هو مهارة جديدة، ويحتاج الناس إلى التدريب. هذا سيساعدهم على أن يكونوا أكثر إنتاجية وسيساعد على الحفاظ على ملكية فكرية أكثر أمانا.
عندما تغوص منظمتك في وكلاء ذكاء اصطناعي، غالبا ما يكون من الأفضل أن تمشي قبل أن تسرع. احصل على الخبرة مع وكلاء محدودي النطاق والبيانات والصلاحيات. تعلم مع بناء الحواجز التنظيمية والخبرة ثم انتقل إلى حالات استخدام أكثر تعقيدا وطموحا.
لا يمكنك الجلوس على هذا
سواء كنت رئيسا لتقنيات الذكاء الاصطناعي أو رئيسا للمعلومات، قد تكون لديك مخاوف مختلفة في البداية، ولكن مسارك الأمامي هو نفسه. مكاسب الإنتاجية من وكلاء الترميز وأنظمة الذكاء الاصطناعي المستقلة لا يمكن تجاهلها. إذا كنت لا تزال تتبع نهج “انتظر وستعرف”، فأنت已经 تقع وراء.
أدوات هذه ليست تجريبية بعد الآن—إنها تكتسب زخما سريعا وت trở thành معايير الجدول. شركات مثل مايكروسوفت تنتج جزءا كبيرا من الشفرة من خلال الذكاء الاصطناعي وتتقدم مناصبها التنافسية نتيجة لذلك. أدوات مثل كلود كود تقطع وقت التطوير وتنفذ تدفقات عمل معقدة في العديد من الشركات حول العالم. الشركات التي تتعلم كيفية استغلال هذه الوكلاء بأمان سوف تنجح بشكل أسرع، وتتكيف بشكل أسرع، وتتفوق على منافسيها.
ولكن السرعة بدون أمان هي فخ. دمج وكلاء مستقلين في عملك بدون سيطرة مناسبة هو وصفة للعطل، وتسرب البيانات، والانتكاسات التنظيمية.
هذا هو الوقت للعمل—ولكن اعمل بحكمة:
- شغل برامج تجريبية للوكيل، ولكن احتاج إلى مراجعة الشفرة، وتصريحات الأدوات، وتحجيم.
- اقصر الاستقلالية على ما هو ضروري—ليس كل وكيل يحتاج إلى الوصول الجذر أو الذاكرة الطويلة الأمد.
- فحص الذاكرة المشتركة ودعوات الأدوات، خاصة عبر جلسات طويلة الأمد أو سياقات تعاونية.
- احاكي الهجمات باستخدام حقن التحفيز وإساءة استخدام الأوامر لاكتشاف المخاطر الحقيقية قبل أن يفعل المهاجمون.
- تدريب مطوريك وفريق المنتج على أنماط الاستخدام الآمن، بما في ذلك التحكم في النطاق، وسلوك الارتداد، ومسارات التدرج.
الأمان والسرعة لا يستثنيان بعضهما البعض—إذا بنيت بالنية.
الشركات التي تعامل مع وكلاء الذكاء الاصطناعي على أنهم بنية تحتية أساسية، وليس ألعابا أو تهديدات، سوف تكون هي التي تنجح. الباقي سوف يتركون لتنظيف الفوضى—أو أسوأ، يشاهدون من على المقاعد الجانبية.
عصر الوكيل هنا. لا ت phảnع فقط. استعد. اندمج. أمن.
