قادة الفكر

كشف المخاطر الخفية لبرامج الذكاء الاصطناعي الخفية

mm
أضف Unite.AI إلى مصادرك المفضلة على Google

لم يكن الأمر يستغرق وقتًا طويلاً حتى تتجرب الشركات استخدام برامج الذكاء الاصطناعي التوليدية (GenAI) على نطاق واسع بين موظفيها. ومع ذلك، عندما يتعلق الأمر بمخاطر GenAI، فإن الأدوات المعروفة داخل مؤسستك ليست تلك التي يجب أن تقلق بشأنها أكثر. إنها تلك التي لا تعرف عنها التي يجب أن تسبب لك قلقًا.

بفضل التوسع السريع لأدوات GenAI مثل ChatGPT و Copilot و Gemini و Perplexity، إلى جانب العديد من المساعدين المتخصصين القائمين على السحابة، يعتمد الموظفون عليهم بشكل أسرع مما يمكن لأفراد الأمن مواكبته. وقد أدى هذا الاستخدام إلى خلق نقطة عمياء سريعة النمو تعرف باسم برامج الذكاء الاصطناعي الخفية.

إذا كانت برامج الذكاء الاصطناعي الخفية تبدو مألوفة، فذلك لأنها تستعير من مصطلح تكنولوجيا المعلومات الخفية، المستخدم لوصف استخدام أدوات وخدمات غير معتمدة في مكان العمل. ولكن مع برامج الذكاء الاصطناعي الخفية، قد تكون المخاطر أعلى. بدلاً من تطبيق مشاركة الملفات غير المصرح به، يمكن أن تؤدي برامج الذكاء الاصطناعي الخفية إلى نتائج مثل لصق البيانات الحساسة في سؤال محادثة، واستهلاكها بواسطة نماذج خارجية، والكشف عنها لمنصات ثالثة دون علم.

تمثل برامج الذكاء الاصطناعي الخفية واحدة من أخطر وأقل المخاطر مرئية في أمان البيانات الشركي اليوم.

ما هي برامج الذكاء الاصطناعي الخفية؟

برامج الذكاء الاصطناعي الخفية تشير إلى استخدام أدوات الذكاء الاصطناعي غير المصرح به – وخاصة GenAI – من قبل الموظفين دون علم أو موافقة فرق تكنولوجيا المعلومات أو الأمن. داخل المنظمة، قد يكون المستخدمون فريقًا تسويقيًا يdraft مدونات باستخدام نماذج لغة كبيرة (LLMs)، أو فريق قانوني يستكشف لغة العقد في أدوات الذكاء الاصطناعي، أو مهندسين يُجرون تصحيحًا لبعض الأخطاء باستخدام غلاف GPT المجاني.

ومع ذلك، قد لا يكون ما يتم مشاركته مع هذه الأدوات آمنًا. قد يكون ذلك شرائح استراتيجية سرية أو معلومات عن العملاء. وينتهي هذا البيانات في النهاية في سجلات غير مشفرة، بدون حوكمة، وبدون طريقة لتتبع ما يحدث بعد ذلك.

لماذا تعتبر برامج الذكاء الاصطناعي الخفية مشكلة؟

قضية برامج الذكاء الاصطناعي الخفية مشكلة لأنها لا تتطلب سوى موظفًا ذا نيات حسنة ووصول إلى ChatGPT لإنشاء خطر أمني للبيانات. على عكس المخترق، لا تعتبر برامج الذكاء الاصطناعي الخفية خبيثة، ولكن ذلك لا يقلل من خطورتها. كل مرة يتم فيها إضافة بيانات حساسة إلى سؤال، فإنه من المحتمل أن يتم الكشف عنها للنموذج والبائع وجميع الأشخاص الذين لديهم حق الوصول إلى السجلات. وقد تظهر مرة أخرى في إجابة لسؤال آخر. وأسوأ ما في الأمر هو أنك لن تعرف أبدًا ما حدث.

هناك خمس مخاطر رئيسية لبرامج الذكاء الاصطناعي الخفية التي يجب أن تكون على بينة منها.

1. تسرب البيانات عبر مدخلات السؤال – حقول السؤال هي ثقب أسود لأمان البيانات. بمجرد مشاركة المعلومات الحساسة، مثل شفرة المصدر ووثائق الاندماج والاستحواذ وبيانات الرواتب، مع أداة GenAI، فإنه يخرج عن سيطرتك. حتى لو وعد بائع الذكاء الاصطناعي بأنه لا يحتفظ بالبيانات، فإن التنفيذ غير واضح وهناك ضمانات قليلة بشأن التدريب أو التелеметري.

2. عدم وجود ضوابط الوصول أو سجلات المراجعة – على عكس التطبيقات المؤسسية المعتمدة، لا تقدم معظم أدوات GenAI ضوابط وصول مبنية على الأدوار، أو أذونات دقيقة، أو سجلات نشاط، مما يعني أن أفراد الأمن لا يملكون رؤية لمن يصل إلى ما البيانات، أو متى. إذا حدث حادث، فلا يوجد شيء للتحقيق.

3. انتهاكات الامتثال – تتطلب العديد من لوائح الامتثال العديدة التي يجب على المنظمات الامتثال لها أن يتم تخزين البيانات الخاضعة للوائح، ومعالجتها، ووصولها بطرق محددة. قد يؤدي تغذية هذه البيانات إلى نموذج الذكاء الاصطناعي الخارجي إلى انتهاك هذه القواعد، مما يخاطر المنظمة بالخطر القانوني، والغرامات، والإفصاحات الإلزامية عن الانتهاكات.

4. انتشار المعلومات القديمة أو المائلة – غالبًا ما توفر أدوات GenAI إجابات بثقة وتعرضها على أنها حقائق، حتى لو كانت خاطئة. قد يؤدي الاعتماد على هذه الإخراجات لاتخاذ قرارات العمل دون التحقق من صحتها إلى اتخاذ قرارات تجارية dựa على بيانات غير دقيقة. وتحدث هلوسات بانتظام ولا تبدو أنها تختفي، حتى مع أن هذه النماذج اللغوية تصبح أكثر ذكاء.

5. برامج الذكاء الاصطناعي الخفية التي تصبح بيانات خفية – إخراجات أدوات GenAI، بما في ذلك الملخصات وشرائح الكود، غالبًا ما يتم حفظها، ومشاركتها، وإعادة استخدامها.由于 أنها تم إنشاؤها خارج سير العمل الرسمي، تصبح هذه الملفات غير موثقة، وغير مصنفة، وغير محمية، وتصبح بيانات خفية.

في معظم الحالات، لا يعرف أحد في الأمن متى يحدث انتهاك أمني. قد تحدث هذه الأمثلة الواقعية في مؤسستك:

  • مطور برمجيات شاب يلصق شفرة برمجية مملوكة في حلال GPT المجاني.
  • ممثل مبيعات يغذي قائمة العملاء في الربع الماضي إلى كاتب بريد إلكتروني ذكاء اصطناعي لإنشاء عروض بيع.
  • مدير موارد بشرية يستخدم أداة ذكاء اصطناعي خارجية لتحليل استجابات لمسح رضا الموظفين.
  • محلل مالي يطلب من ChatGPT تبسيط لغة توقعات الإيرادات الحساسة للمديرين التنفيذيين.
  • محامي يطلب من GenAI إعادة كتابة عقد باستخدام شرط سرية من اتفاقية عميل.

لماذا تفشل أدوات الأمان التقليدية في اكتشاف برامج الذكاء الاصطناعي الخفية

ليست مكدسات الأمان التقليدية مبنية لمواجهة تهديدات برامج الذكاء الاصطناعي الخفية القائمة على السؤال. على سبيل المثال، لا يمكن لحائط الحماية حظر أدوات الذكاء الاصطناعي القائمة على المتصفح. ولا ترى CASB ما يتم كتابته في نوافذ المحادثة. ولا تُصدر SIEM تنبيهات حول من طلب من LLM تلخيص الملكية الفكرية الحساسة.

تعمل برامج الذكاء الاصطناعي الخفية على层 التطبيق وتعيش في المتصفح، حيث تكون الرؤية أضعف. يستخدم الموظفون أيضًا أجهزتهم الشخصية. لا يوجد إضافة لمنعهم، ولا يوجد علامة مائية لتتبع ما البيانات التي تم تسريبها، ولا يوجد تنبيه عند عبور البيانات للخط. وبحلول الوقت الذي تظهر فيه في تنبيه DLP، إذا ظهرت على الإطلاق، تكون البيانات已经 مكشوفة.

كيفية تحديد مخاطر برامج الذكاء الاصطناعي الخفية ومعالجتها

لا يمكنك التحكم في ما لا ترى، ومع GenAI، فإن معظم المنظمات تطير عمداً. لم تكن الأدوات التقليدية مبنية لفهم التفاعلات القائمة على السؤال أو تتبع ما يحدث بعد أن يضغط المستخدم على “إدخال”.

然而، فإن نهجًا جديدًا من الأمان مدفوعًا بالذكاء الاصطناعي يتماشى مع التحدي لمساعدة المنظمات على إخراج برامج الذكاء الاصطناعي الخفية من الظلام. إليك بعض التدابير الأمنية التي تقدمها الحلول المتقدمة:

اكتشاف برامج الذكاء الاصطناعي الخفية – تحدد هذه الأدوات تطبيقات GenAI التي يستخدمها مستخدموك، حتى تلك القائمة على المتصفح التي تتجاوز التحكم التقليدية. وتحليل حركة البيانات وأنماط الوصول والسياق لاكتشاف الانتهاكات دون الحاجة إلى وكلاء نهاية أو مراقبة غازية.

تصنيف ما هو حساس – تستخدم الحلول الحديثة الذكاء الاصطناعي القائم على السياق لفهم المحتوى والسياق وراء البيانات. وهذا يعني أنها يمكن أن ت突ّح المخاطر مثل تقدير الإيرادات المضمن في شرائح PowerPoint أو بيانات العملاء المخفية في مسودة بريد إلكتروني. هذا هو النوع من المحتوى الذي قد يغذي الموظفون إلى GenAI دون التفكير فيه.

منع سلوك السؤال الخطير – بمجرد اكتشاف البيانات الحساسة وتحديد موقعها، تساعد أمان بيانات الذكاء الاصطناعي في منع الكشف عنها. هذه الأدوات ت突ّح، أو تحذف، أو تحظر مدخلات السؤال الخطيرة قبل أن تغادر المنظمة.

تنظيف بيانات الظل – توليدات سؤالات GenAI غالبًا ما تؤدي إلى موجة من الملفات الجديدة، مثل الملخصات والمسودات والاستجابات، التي يتم حفظها ومشاركتها وتنسيها. وتحدد منصات أمان البيانات المتقدمة هذه الملفات الناتجة، وتكتشف مخاطر التعرض (مثل الوصول المفرط أو التخزين غير المناسب) وتعالجها قبل أن يصبح فقدان البيانات عنوانًا رئيسيًا.

برامج الذكاء الاصطناعي الخفية ليست خطرًا نظريًا. إنها حقيقة، وهي تتزايد، وتحدث في بيئتك الآن، سواء كنت قد لاحظتها أم لا. حظر أدوات GenAI ليس واقعيًا، ولكن إغفال العينين عنه يعتبر مخاطرًا شديدًا. المنظمات تحتاج إلى الرؤية والسيطرة والذكاء حول استخدام GenAI – ليس فقط لما يخرج، ولكن أيضًا لما يدخل.

تتوفر نهج جديدة لاكتشاف السلوك الخطير، ومنع الكشف العرضي، وتنظيف الفوضى التي يتركها الذكاء الاصطناعي وبرامج الذكاء الاصطناعي الخفية.

كارثيك كريشنان هو المؤسس والرئيس التنفيذي لشركة Concentric.ai. قبل انضمامه إلى Concentric، كان كارثيك نائب الرئيس لمنتجات الأمان في Aruba/HPE حيث قام بإدارة محفظة الأمان (كان كارثيك سابقًا نائب الرئيس لمنتجات شركة Niara، وهي شركة تحليلات أمان تركز على سلوك المستخدم والكيان، والتي تم الاستحواذ عليها من قبل Aruba/HPE). يمتلك كارثيك أكثر من 20 عامًا من الخبرة في الهندسة والتسويق شغل مناصب رفيعة المستوى في منظمات صناعية رئيسية مثل Intel و Microsoft و Juniper Networks و PGP Corporation و Symantec و Embrane. يحمل كارثيك درجة البكالوريوس في الهندسة من المعهد الهندي للتقنية، مدراس، الهند ودرجة الماجستير في الإدارة مع التميز من كلية كيلوج لإدارة الأعمال، حيث كان زميلًا لشركة F.C. Austin.