قادة الفكر
غابة الذكاء الاصطناعي الخفية: لماذا الموافقة على منصة لا تعني نفس الشيء مثل تأمين ما يتم بناؤه عليها
أضف Unite.AI إلى مصادرك المفضلة على Google
تعتمد اعتماد الذكاء الاصطناعي في الشركات على العديد من العوامل، وتتضمن هذه العوامل مخاوف بشأن سيطرة البيانات والامتثال التنظيمي والأمان. ومع ذلك، مع زيادة استخدام الشركات لأنظمة مثل مايكروسوفت وسيلز فورس وسيرفيس ناو، يبدو أن هناك شعوراً متزايداً بأن أسئلة الحوكمة الصعبة يتم التعامل معها، على الأقل جزئياً. وقد تم وضع اتفاقيات الشركات في مكانها، وتم إكمال استعراضات الأمان، وتمت الموافقة على المنصات.
然而، ما يتم إهماله في هذا الثقة هو سؤال مختلف تماما: ليس ما إذا كانت المنصة آمنة، ولكن ماذا، ومن، يبنيها.
على مستوى الصناعات، هناك ثورة هادئة تجري حيث يستخدم الموظفون غير التقنيين منصات الذكاء الاصطناعي في الشركات لإنشاء وكلاء مستقلين وتدفقات عمل آليّة وتطبيقات متصلة بالبيانات، غالباً في دقائق، دون كتابة سطر واحد من الكود. خالي من جداول التطوير التقليدية والقيود، هذه الأدوات هي نعمة للكفاءة التنظيمية. ومع ذلك، هذه الأدوات لا يتم استعراضها من قبل فريق الأمان. في العديد من الحالات، لا يعرف فريق الأمان حتى أنها موجودة.
تعد هذه الأدوات، سواء كانت مصنفة على أنها تطبيقات أو وكلاء أو آليات، جزءاً من مشكلة متزايدة تعرف باسم الذكاء الاصطناعي الخفي، وت представляет واحدة من أكبر التحولات في المخاطر التنظيمية خلال عقد من الزمن، بسبب أن التهديدات انتقلت الآن إلى الداخل.
كانت مشكلة الذكاء الاصطناعي الخفية الأصلية بسيطة نسبيا: كان الموظفون يستخدمون أدوات غير مصرح بها من خارج المنظمة، ووظيفة الأمان كانت العثور عليها وحظرها. الذكاء الاصطناعي الخفي هو تحدي مختلف تماما. الأدوات موجودة داخل المنصات التي وافقت عليها. الأشخاص الذين يبنونها هم موظفوك أنت. الوصول الذي يستخدمونه هو شرعي. ولا شيء من ذلك يمر عبر عمليات الأمان المصممة للعثور على المشاكل قبل وصولها إلى الإنتاج.
ما يجعل هذا الأمر صعباً بشكل خاص هو النطاق. يقلل معظم قادة الأمان بشكل كبير من تقدير كمية ما يتم بناؤه داخل بيئاتهم. وجدت دراسة حديثة من أكثر من 200 مدير أمان ومدير أمان أن فريق أمان الشركة يمكنه فقط أن حساب 44% من وكلاء الذكاء الاصطناعي والآليات والتطبيقات التي أنشأها مستخدمو الأعمال. هذا ليس فجوة، بل نقطة عمياء تغطي الغالبية العظمى من ما يتم تشغيله.
السبب بسيط: يفوق عدد مستخدمي الأعمال عدد المطورين المحترفين بنسبة 10 إلى 1 في بعض المنظمات. هم يبنيون باستمرار عبر جميع الإدارات، على منصات مصممة لجعل البناء سهلاً، ثم يشجعهم فريق الإدارة العليا على البناء. أفرقة الأمان موجهة حول خطوط التطوير ومخازن الكود. لم يتم تصميمها لمراقبة هذا.
الأفكار الخاطئة الأكثر شيوعاً هي الاعتقاد بأن الموافقة على منصة تحل مشكلة الأمان. لا، بل تحركها فقط. عندما توقع شركة اتفاقية مع مايكروسوفت أو سيلز فورس أو يوباث، تقوم مزود المنصة بتأمين البنية التحتية. ما يبني الموظفون فوقها، وكيفية تكوينها، هو مسؤولية الشركة بالكامل.
المشكلة هي أن الأدوات التي يبنيها مستخدمو الأعمال لا تبدو مثل البرمجيات لنظم الأمان التقليدية. لا يوجد كود لفحصه، ولا مخزن لمراقبته، ولا خط أنابيب لفحصه. وكيل ذكاء اصطناعي مبني من قبل مدير الموارد البشرية من خلال سلسلة من القوائم والنصوص لا يظهر للنظم الأمنية التقليدية.
ومع ذلك، هذه الأدوات بعيدة عن التخفيض. وجدت الدراسات أن أكثر من نصف مسؤولي الأمان أكدوا أن التطبيقات التي بناها مستخدمو الأعمال تدعم الآن عمليات أعمال حرجة وتمتلك وصولاً إلى بيانات شركة حساسة. المخاطر حقيقية، ولم تتمكن الإشراف بعد.
من الصفر إلى الكارثة
تأتي الحالات الاستخدامية من صناعات متنوعة ومتعددة، وتأتي من几乎 كل قسم، حتى تلك التي لن تظهر للمراقبة الأمنية.
على سبيل المثال، يبني منسق تسويق وكيل ذكاء اصطناعي مواجه للعملاء على منصة مخولة بالكامل للاجابة على أسئلة المنتج. في دقائق، يتم تشغيل التطبيق، ولكن كشخص بدون تدريب أمني، يمرر خطأان صغيران في التكوين دون ملاحظة ويترك الوكيل مع وصول مباشر إلى قاعدة بيانات الشركة بأكملها ودون حدود على ما يمكن استرجاعه. في الإنتاج، يطلب المستخدم من الوكيل سحب سجلات الموظفين. يفعل ذلك. لأن الوكيل يمتلك أيضاً القدرة على إرسال البريد الإلكتروني، يوجه المستخدم إرسال تلك البيانات إلى عنوان شخصي. يستغرق كل التسلسل أقل من ستين ثانية. لا يوجد وصول غير مصرح به، ولا اختراق منصة، ولا تنبيه أمني.
هذا ليس هجوماً متقدمة. إنه النتيجة المتوقعة لموظف حسن النية يبني شيئاً لا يفهمه تماماً، على منصة جعلت البناء سهلاً والحوكمة اختياريا.
فجوة الحوكمة التي لم يتم تسعيرها
对于 معظم المنظمات، تبقى مشكلة الذكاء الاصطناعي الخفي مجردة حتى يحدث شيء خاطئ. ولكن المخاطر التجارية تذهب أبعد من استجابة للانتهاكات.
عندما يحدث تسرب بيانات حساسة من وكيل بني من قبل الأعمال، السؤال الذي سيطرحه المجلس ليس “كيف حدثت التكوين الخاطئ؟” بل “كيف لم يكن أحد يعلم أن الأداة تعمل؟” لن يفرقوا بين انتهاك ناتج عن مهاجم خارجي وآخر ناتج عن أداة داخلية غير مخولة. إذا تم الكشف عن بيانات شخصية وغابت الرقابة على ما يتم تشغيله، فإن غياب الرقابة هو نفسه المسؤولية. “موظف بناه على منصة مخولة” ليس دفاعاً، بل هو وصف الفجوة.
الurgency حقيقية، ولكن النية والتنفيذ ليسا نفس الشيء، وفجوة بينهما ما زالت مفتوحة للغاية.
الجواب ليس تقييد من يمكنه البناء. سوف يضحي حظر تطوير المواطن بالفعل بزيادات إنتاجية حقيقية، وسوف يفشل في الممارسة. سوف يجد الموظفون طرقاً للتحايل. الجواب هو جعل ما يتم بناؤه مرئياً، وتحكيمه في النقطة التي تظهر فيها المخاطر فعلاً: وقت التشغيل.
هذا يعني فهم ليس فقط ماذا يوجد من وكلاء، ولكن كيف يتصرفون، ما البيانات التي يصلون إليها، ما النظم التي يلمسونها، وما إذا كانت أفعالهم تظل داخل الحدود التي قصدها البناؤون. يعني هذا وضع حواجز تعمل على مستوى المنظمة، وليس فقط عند نقطة التكوين. وي意味ى الوصول إلى مكان يمكن لفريق الأمان أن ي回答 أسئلة أساسية حول أي وكيل في بيئتهم: من بناه، ماذا يصل إليه، وهل يتصرف كما تم تصميمه؟
معظم الشركات لا تستطيع الإجابة على هذه الأسئلة اليوم. المنظمات التي تصل أولاً ستكون تلك التي يمكنها توسيع اعتماد الذكاء الاصطناعي بثقة، لأنها ستعرف ما الذي تقوم بتشغيله بالفعل.
