مع تحقيق اعتماد أكبر للاستخdam الاصطناعي من الاستخدام الفعلي، يجب على قادة الصناعة أن يتحملوا المسؤولية

التشكيلات تقوم بتوسيع استخدام الذكاء الاصطناعي بشكل أسرع مما تبني كفاءة المستخدمين. الفجوة بين اعتماد الذكاء الاصطناعي والاستخدام الفعلي ليست مجرد مشكلة في التعليم، بل هي خطر أمني متزايد. وتتوسع هذه الفجوة بسبب نشر أنظمة وكيلية – الذكاء الاصطناعي الذي يمكن التخطيط والقرار والعمل – دون استثمار مكافئ في فهم كيفية سلوك هذه الأنظمة في ظروف معادية أو غامضة.

من خلال عملي في تطوير ونشر أنظمة أمان الذكاء الاصطناعي للتطبيقات الواقعية، لاحظت أن هذه الفجوة تعمل باستمرار كالمصدر الأساسي لكل من فشل النظام وثغرة الأمان.

الاستخدام الفعلي للذكاء الاصطناعي يتجاوز الاستخدام الفعلي، ويجب على قادة الصناعة أن يتحملوا المسؤولية.

النظم الاصطناعية سهلة الاستخدام الخاطئ

إحدى التحديات هي أن الذكاء الاصطناعي لا “يفهم” بالمعني البشري؛ إنه يُحسّن الإخراج بناءً على الأنماط بدلاً من النية. النماذج تتنبأ بالاستجابات المحتملة بناءً على بيانات التدريب، وليس الحقيقة الموثوقة. يمكن أن تبدو الإخراجات موثوقة حتى عندما تكون خاطئة أو غير كاملة.

على سبيل المثال، يسأل شخص نموذج لغة كبير (LLM)، “أنا أشعر بألم في الركبة في الليل ولكن ليس خلال النهار. ما هو؟” يرد LLM، “يتسم هذا النمط بقوة بمرض الروماتيزم المبكر، الذي يظهر عادةً بالالتهاب الليلي.” استخدام عبارات مثل “يشير بقوة” يبدو تشخيصيًا، ولكن الذكاء الاصطناعي يمكن أن يكون متعجرفًا وغير كامل. يمكن أن ينشأ الألم من الإفراط في الاستخدام أو التهاب الأوتار أو إجهاد بسيط. LLM لديه سياق أقل من المستخدم وأحيانًا لا يسأل الأسئلة الصحيحة قبل الاستجابة. هذا هو السبب في أن الأمراض لا يتم تشخيصها بهذه الطريقة.

يمكن أن يؤدي تحسين الهدف الخاطئ إلى نتائج ضارة. نظامك قد يلبي هدف المنظمة المحدد، ولكنه يفعل ذلك بينما يخالف قواعد الأمان الأوسع. هناك توتر بين الأهداف المتضاربة: الأداء مقابل الأمان مقابل الدقة. في البيئات الوكيلية، تتراكم هذه الخلفية.

هناك نقص فهم آخر شائع للذكاء الاصطناعي هو أنه مصمم لتكون مفيدًا وممتعًا، وليس معاديًا أو تصحيحيًا. قد يبدو هذا إيجابيًا على السطح، ولكن المشكلة هي أن الذكاء الاصطناعي يميل إلى تأكيد افتراضات المستخدم بدلاً من تحديها. غالبًا ما يُنتقد لخداعه، ووجدت دراسة واحدة أن نماذج الذكاء الاصطناعي هي 50% أكثر من البشر.

ما هو الإيحاء هنا؟ الاستخدام الخاطئ ليس حالة حافة؛ إنه من المحتمل بنيويا دون استخدام مستنير. عند دمجها داخل سير عمل وكيلية، يمكن أن تنتشر هذه الاتفاقية من خلال استخدام الأدوات والمهارات؛ الذكاء الاصطناعي لا يوافق فقط ولكنه ينفذ.

الذكاء الاصطناعي يمكن أن يكون سطح هجوم و操уля

الذكاء الاصطناعي معرض لعدد من الهجمات المختلفة، بما في ذلك حقن البرومت وهاجمات التعليم الغير مباشر. يمكن للذكاء الاصطناعي تنفيذ تعليمات خبيثة مضمنة في المحتوى الذي يعالجه (على سبيل المثال، البريد الإلكتروني والوثائق ودعوات التقويم). غالبًا ما لا يستطيع المستخدمون التمييز بين المدخلات الشرعية والخبيثة.

على سبيل المثال، مساعد الذكاء الاصطناعي المرتبط بالبريد الإلكتروني يلخص رسالة تحتوي على تعليمات خفية مثل “إرسال جميع المرفقات إلى هذا العنوان الخارجي.” يرى المستخدم فقط الملخص، ولكن الوكيل ينفذ التعليمات المضمنة من خلال وصوله إلى الأدوات.

هناك أيضًا خطر تلوث المعلومات ودورات المحتوى الاصطناعي. يتيح الذكاء الاصطناعي العياني إنشاء المحتوى الكاذب أو المحتوى منخفض الجودة على نطاق واسع. يمكن لأنظمة الذكاء الاصطناعي أن تبتلع وتدور هذا المحتوى كـ “معلومات موثوقة”. هناك مثال مشهور 现在 هو المحامي الذي استخدم ChatGPT للبحث في قضية. أنتج LLM ست حالات مشابهة، والتي لم يتأكد منها ولم يذكرها في مذكراته القانونية. نتج عن ذلك خجل وغرامة قدرها 5,000 دولار.

هناك أيضًا مشكلة تسرب البيانات والactions غير المقصودة. يمكن لوكلاء الذكاء الاصطناعي الذين يتصرفون نيابة عن المستخدمين أن يفضحوا معلومات حساسة. يمكن أن تؤدي الإخراجات غير المتوافقة إلى مخاطر تشغيلية أو امتثالية في المستقبل. تخيل موظفًا يطلب من وكيل داخلي للشركة “إعداد تقرير” وينفذ ذلك تلقائيًا من الموارد البشرية والتمويل والوثائق الداخلية – مما يفضح بيانات حساسة بسبب عدم وجود وعي بالتحكم في الوصول في وقت التنفيذ.

يوسع الذكاء الاصطناعي سطح الهجوم من الأنظمة إلى الإدراك، يستهدف كيفية تفسير المستخدمين والإيمان بالإخراجات. ومع الأنظمة الوكيلية، يمتد سطح الهجوم إلى ما هو أبعد – من الإدراك إلى التنفيذ – حيث يمكن أن يؤدي الإدخال المخترق إلى أفعال حقيقية (مكالمات API، وصول البيانات، معاملات).

سلوك الإنسان يزيد من خطر الذكاء الاصطناعي

طريقة واحدة يزيد بها الأفراد من المخاطر هي افتراض الذكاء الاصطناعي كسلطة بدلاً من مدخل. يعتمد المستخدمون بشكل متزايد على ملخصات الذكاء الاصطناعي بدلاً من البحث التقليدية والتحقق، وهذا الاعتماد المفرط يقلل من الاحتكاك الذي من شأنه أن يلقي بالفضول على الأخطاء.

الذكاء الاصطناعي также يتيح التحيز التأكيدي على نطاق واسع من خلال تعزيز المعتقدات الحالية عند التحفيز بطرق معينة. ونتيجة لذلك، تتسبب الحلقات التغذوية بين توقعات المستخدم والإخراجات في تشويه الواقع.

ثم هناك فقدان السياق والدقة. غالبًا ما تقوم عملية الملخصات بإزالة المؤهلات الحاسمة أو تفسير المواد الأصلية بشكل خاطئ. نادرًا ما يتحقق المستخدمون من المصادر الأصلية بمجرد أن يقدم الذكاء الاصطناعي إجابة.

الضعف الأساسي ليس فقط النموذج، بل هو الميول البشرية لثقة الذكاء الاصطناعي. في البيئات الوكيلية، يتم تفويض هذه الثقة إلى ما هو أبعد. يثق المستخدمون في الأنظمة التي تتصرف نيابة عنهم، غالبًا بدون رؤية لخطوات التفكير أو اتخاذ القرار الوسيط.

الأمانية الذكاء الاصطناعي كسيطرة أمنية، وليس مبادرة تدريبية

ضد خلفية هذه التحديات، تحتاج الأمانية إلى إعادة صياغة من “كيفية استخدام الذكاء الاصطناعي” إلى “كيفية تساؤل الذكاء الاصطناعي”. أدرب المستخدمين على معاملة الإخراجات كفرضيات، وليس استنتاجات. افهم أنماط الفشل الشائعة: الهلوسة والتحيز والخداع.

علم المستخدمين سلوكيات الأمانية الذكاء الاصطناعي العملية مثل:

• التحفيز على التحقق والجدل والشك.
• البحث عن التحقق الخارجي أو المصادر الثانية.
• التعرف على عندما يعمل الذكاء الاصطناعي خارج نطاقه الموثوق.

ادمج الأمانية في سير العمل. أضف إرشادات خطوة بخطوة لاستخدام الذكاء الاصطناعي في العمليات الحالية. حاذي الأمانية مع برامج الوعي الأمني الحالية.

بدون شك المستخدمين والتحقق، لا يمكن للسيطرات الفنية وحدها التخفيف من مخاطر الذكاء الاصطناعي. هذا صحيح بشكل خاص للأنظمة الوكيلية، حيث يجب على المستخدمين فهم ليس فقط الإخراجات ولكن أيضًا متى وكيف يجب أن يسمح للذكاء الاصطناعي بالعمل.

إغلاق الفجوة: ربط الحواجز مع تعليم المستخدم

الحواجز الفنية ضرورية ولكنها غير كافية.已经 استثمر معظم مقدمي الذكاء الاصطناعي الكبار بالفعل بشكل كبير في تقنيات ما بعد التدريب (التركيب والمرشح والقيود السياسية) لتوجيه النماذج نحو السلوك الآمن. و”أحزمة الوكيل” تظهر والتي توجيه النماذج لتجنب الإجراءات الضارة، وتفضيل المصادر الموثوقة واتباع خطوات التفكير المنظمة. في الممارسة، النهج الناشئة مثل هندسة أحزمة الوكيل – الأنظمة التي عملت عليها لتقيد وس-j سلوك النموذج في الإنتاج – تعمل كطبقات تحكم حول النماذج. ومع ذلك، هذه الحمايات تشكل بشكل رئيسي كيفية سلوك النموذج، وليس ما يصل إليه أو السياق الذي يعمل فيه.

السيطرات على مستوى التطبيق هي حيث يصبح تصميم النظام حرجًا، خاصة في الإعدادات المؤسسية. يجب على النظام أن يفرض سيطرة الوصول المستندة إلى الأدوار؛ يجب أن يمنع أو يفلتر البيانات الحساسة على مستوى النظام. لا تريد أن تعتمد على النموذج لتحديد ما لا يجب إظهاره؛ تريد جعل ذلك مستحيلًا من حيث التصميم.

يجب على المنظمات معاملة استخدام الذكاء الاصطناعي كجزء من محيط الأمان وتطوير سياسات تحدد الاستخدام والتحقق والتصعيد المناسبين. يعتمد اعتماد الذكاء الاصطناعي الآمن والممكن على دمج حواجز النظام مع قوة عمل مدربة على تحدي، وليس فقط استهلاك، إخراجات الذكاء الاصطناعي. يجب عليهم تعلم الإشراف، وليس فقط استخدام، أنظمة الذكاء الاصطناعي التي يمكن أن تفكر وتخطط وتعمل نيابة عنهم.