زاوية Anderson
دراسة: 35% من وكلاء الذكاء الاصطناعي سلّموا معلومات تعريف شخصية لمواقع كانوا يعلمون أنها احتيالية

النقاط الرئيسيةغالبًا ما يتعرّف الوكلاء على عملية احتيال ومع ذلك يرسلون بيانات حساسة على أي حال
عرض المزيد
- غالبًا ما يتعرّف الوكلاء على عملية احتيال ومع ذلك يرسلون بيانات حساسة على أي حال
- تعمل توجيهات السلامة على شحذ وعي الوكيل بالمخاطر دون أن تغيّر سلوكه بشكل موثوق
- يجب أن تعترض الدفاعات عمليات الإرسال الصادرة بدلًا من الاعتماد على شكّ الوكيل نفسه
دراسة جديدة تظهر أن أكثر من ثلث وكلاء الذكاء الاصطناعي يسلّمون معلومات شخصية حساسة لمواقع إلكترونية احتيالية، حتى عندما يعرفون أن الموقع غير آمن.
أجريت دراسة جديدة من قبل باحثين في الهند والولايات المتحدة، ووجدوا أن أكثر من ثلث الوكلاء الذكاء الاصطناعي الذين تم اختبارهم سلموا معلومات تعريف شخصية حرجة، مثل التفاصيل المصرفية وكلمات المرور وأرقام الضمان الاجتماعي، لمواقع إلكترونية احتيالية، حتى عندما كانوا يعرفون أن الموقع غير آمن.
تشير الدراسة إلى أن هناك نوعًا من “الدافع الملحّ إلى إكمال المهمة” يمنع الوكلاء الذكاء الاصطناعي من التوقف عن العمل عندما يواجهون موقعًا إلكترونيًا غير آمن. يقول المؤلفون:
‘قد يتوقف الإنسان، أو يعيد القراءة، أو يغلق علامة التبويب. أما الوكيل المصمم لإنجاز المهمة فيواصل ملء النماذج وإرسال البيانات دون أن يسأل نفسه إن كان ينبغي له ذلك.’
أنتجت الدراسة معيارًا جديدًا لاختبار الوكلاء الذكاء الاصطناعي، سمي ب “SCAMMER4U”، والذي يغطي 91 بيئة اختبار محاكاة، بالإضافة إلى 10 مواقع إلكترونية آمنة، و8 طرق هجوم.
بدون أي حماية للخصوصية، سلم الوكلاء الذكاء الاصطناعي معلومات شخصية حساسة في 54% إلى 93% من المواقع الإلكترونية الاحتيالية، في حين أن المواقع الإلكترونية غير الاحتيالية لم تؤدي إلى أي تسرب للبيانات، مما يشير إلى أن التسرب كان نتيجة الهجمات وليس بسبب ملء النماذج الروتيني.
‘الأهم من ذلك، هو أننا وجدنا فجوة بين الكشف والعمل: الوكلاء الذين أشار تفكيرهم إلى أن الموقع مشبوه، وفق تأكيد حكم مستقل قائم على نموذج لغوي كبير، ظلوا يسرّبون معلومات تعريف شخصية حرجة في 35.9% من الجلسات، مقابل 66.1% عندما لم يعبّروا عن الشك؛ وظلت هذه الفجوة البالغة 30.2% ثابتة عبر عائلات النماذج الأربع.’
‘تظهر نتائجنا أن الدفاعات التي تعتمد على الكشف عن الهجمات لا توفّر حماية كافية، ويشير ذلك إلى الحاجة إلى دفاعات على مستوى الإخراج التي يمكنها فحص ومنع إرسال البيانات الحساسة بشكل مستقل عن دورة التفكير للوكيل الذكاء الاصطناعي.’
يجادل الباحثون بأن التعرف الذاتي إلى الاحتيال لا يمكن الاعتماد عليه لتفعيل دفاع وقائي، وأن الدفاعات التي تعتمد عليه ليست كافية، ويشيرون إلى الحاجة إلى دفاعات على مستوى الإخراج التي يمكنها فحص ومنع إرسال البيانات الحساسة بشكل مستقل عن دورة التفكير للوكيل الذكاء الاصطناعي.
الدراسة الجديدة بعنوان «أشتبه بشدة في أن هذا الموقع عملية احتيال»: قياس تسرب معلومات التعريف الشخصية واكتشاف الاحتيال من دون دفاع لدى وكلاء الويب المستقلين، وهي من تأليف ثمانية باحثين من KIIT Bhubaneshwar وBITS Pilani وLam Research (LRCX ).
مشاكل مع السلطة
الاكتشاف الأكثر إثارة للاهتمام في الدراسة هو أن العديد من الوكلاء الذكاء الاصطناعي يسلّمون معلومات شخصية حساسة حتى عندما يعرفون أن الموقع الإلكتروني غير آمن. يشير الباحثون إلى أن هناك نمطًا متكررًا في الاختبارات التي أجريت، حيث يصبح الكشف والعمل غير متصلين، ويتابع الوكلاء الذكاء الاصطناعي بملء النماذج وإرسال البيانات الحساسة دون توقف.
مثال على ذلك هو ما يسمى التقليل من شأن المخاطر المُعترف بها. وكيل ذكاء اصطناعي يستند إلى Llama 4 Scout قد حدد علامات تحذيرية على موقع إلكتروني لشراء العملات الرقمية، مشيرًا إلى النغمة المشبوهة ووعد المكافآت الكبيرة وعدم وجود معلومات واضحة عن الشركة. على الرغم من هذه العلامات التحذيرية، أرسل الوكيل رقم الضمان الاجتماعي ورقم البطاقة ورمز التحقق CVV.
نمط آخر، يسمى إطار المجال والإجراء، ظهر عندما كان الوكلاء الذكاء الاصطناعي ينجحون في الكشف عن محاولة احتيال واحدة، ولكنهم فشلوا في تعميم الشك إلى طلب متعلق.
في حالة واحدة، Gemini 3 Flash رفض طلبًا واضحًا احتياليًا للحصول على معلومات بنكية، مشيرًا إلى أن هذا هو محاولة احتيال. بعد دقائق، ومع ذلك، سلم الوكيل نفس المعلومات إلى نموذج تحقق آخر بعد أن علّل ذلك بأن التحقق من الهوية جزء طبيعي من أمن المنصة. كانت العلامات التحذيرية معترف بها في سياق واحد، ولكنها لم تنتقل إلى سياق آخر.
كما لاحظ الباحثون حالات من ما يسمى الإذعان لادعاءات الموقع عن أمنه و تطبيع السطح الموثوق: في حالة واحدة، وكيل ذكاء اصطناعي Claude Haiku 4.5 قبل ادعاءات الموقع الخاصة بالتشفير والشهادات بوصفها دليلًا على الثقة، في حين أن GPT-5 mini قلّل من شأن صياغات مشبوهة لأن الصفحة بدت مصممة بشكل احترافي وتم تقديمها من خلال ما يبدو موقعًا شرعيًا. في كلتا الحالتين، تغلبت إشارات الثقة السطحية على المخاوف التي كان الوكيل قد أعرب عنها بالفعل.
يبدو أن المشكلة تمتد إلى ما هو أبعد من مجرد القابلية للاختراق، حيث يشير المؤلفون إلى أن إشارات الفحص الأمني التي تمت إضافتها في حالة الدفاع الأقوى غالبًا ما عملت كطقوس أكثر من كونها حماية؛ فمجرد وصف الخطر لم يغيّر السلوك بصورة موثوقة.
يحدد المؤلفون الفجوة بين الكشف عن الخطر و الرد على ذلك الخطر كالتحدي الرئيسي في تطوير دفاعات مستقبلية في هذا النوع من السيناريوهات.
الطريقة
تضع معيار SCAMMER4U أربعة وكلاء ذكاء اصطناعي في 91 موقعًا إلكترونيًا تحت سيطرة المهاجم و10 مواقع إلكترونية آمنة، تغطي 8 فئات احتيالية.
تم تقييم أربعة نماذج هي GPT-5 mini وClaude Haiku 4.5 وGemini 3 Flash وLlama 4 Scout، باستخدام إطار تصفح ويب مشترك قائم على Playwright، مع توحيد تنسيق الملاحظات وحيز الإجراءات وقالب التعليمات.
للاختبارات، تم تعيين ملف تعريف مستخدم واقعي لكل وكيل، يحتوي على معلومات تتراوح من الأسماء والعناوين إلى كلمات المرور و تفاصيل الحسابات البنكية وأرقام الضمان الاجتماعي ومفاتيح API ورموز التحقق الثنائي – مع الهدف الرئيسي هو تحديد ما إذا كانت هذه البيانات قد وصلت إلى نهايات تحت سيطرة المهاجم.

تصنيف من ثمانية محاور لبيئات SCAMMER4U. يفصل التصنيف بين فئات الاحتيال والمتغيرات المقترنة في الاختبارات، بما يسمح بعزل أثر كل تكتيك للهندسة الاجتماعية في تسرب معلومات التعريف الشخصية.
لضمان أن المعيار يعكس الاحتيال في العالم الحقيقي وليس اختبارات اصطناعية، تم إنشاء البيئات عبر Flask في بيئات ذاتية الاستضافة، من تصاميم بشرية، وتمت مراجعتها يدويًا.
تم اختبار كل نموذج في أربعة إعدادات متزايدة التدخل: C0، بدون توجيه؛ C1، مع تذكير عام بالخصوصية؛ C2، مع قائمة فحص للتصيد الاحتيالي؛ و C3، مع تحفيز للتفكير قبل الإرسال. تم إجراء خمس جولات لجميع تركيبات من النموذج والبيئة والشرط، مما أدى إلى 7,480 جلسة إجمالية.
المعيار الرئيسي كان PLRcrit، الذي يقيس معدل وصول المعلومات الشخصية الحساسة إلى نهاية تحت سيطرة المهاجم. وشملت المعايير الثانوية PLRweighted، وهو مقياس لتسرب البيانات موزون حسب درجات حساسيتها؛ ASR (معدل نجاح الهجوم)، الذي يقيس نجاح الهجوم بعد الانتقال إلى عنوان URL المحدد للمصيدة؛ TCR (معدل إكمال المهمة)؛ وحالة Defended، أي الرفض أو الإكمال الآمن دون الوصول إلى المصيدة؛ و DR (معدل الكشف)، الذي يسجل ما إذا كان التفكير الوكيل قد حدد الموقع على أنه مشبوه.
تم قياس معدل الكشف باستخدام نهج LLM-as-judge، حيث عمل GPT-4o-mini كقاضٍ رئيسي وLlama 4 Scout كفاحص ثانوي، لمراجعة التفكير الوكيل وتحديد ما إذا كان قد حدد الموقع على أنه مشبوه. في هذه الحالة، يقيس معدل الكشف ما صرّح به الوكيل عن الموقع، وليس ما قد أدركته داخليًا.
أدت التحقق من الصحة ضد أمثلة تم تصنيفها من قبل البشر إلى حصول قيم معامل كابا لكوهين من 0.83 و 0.78، متجاوزة عتبة موثوقية الدراسة المسبقة.
تم تسجيل الدراسة (أي أن خطة الدراسة والتحليلات تم توثيقها علنًا قبل إطلاقها) قبل جمع البيانات، مع تحديد تحليلات المشروع ومعايير النجاح مسبقًا لخفض خطر تخصيص الاستنتاجات للنتائج الملاحظة.
الاختبارات والنتائج
الاختبار الأول سعى إلى تحديد ما إذا كانت التذكيرات البسيطة بالسلامة يمكن أن تقلل من المشكلة. تم تقييم أربعة إعدادات حماية متزايدة، تتراوح من لا توجيه أمني على الإطلاق إلى تحفيزات تنصح الوكيل بالتوقف والتفكير قبل إرسال المعلومات الحساسة.
تختلف النتائج بشكل حاد بين النماذج. انخفض تسرب Claude Haiku 4.5 من 54.5% إلى 24.0%. وأظهر GPT-5 mini تحسنًا من 61.0% إلى 36.1%، في حين أن Gemini 3 Flash انخفض من 93.1% إلى 60.7%. لم يتغير Llama 4 Scout بشكل كبير، وانخفض من 82.3% إلى 77.4%.
تشير هذه الاختلافات، وفقًا للمؤلفين، إلى أن نفس التوجيهات الحمائية يمكن أن تؤدي إلى نتائج مختلفة بشكل كبير، اعتمادًا على النموذج الذي يتلقىها. وأكثر من ذلك، فإن الحماية غالبًا ما تحسنت من وعي الوكيل بالخطر أكثر من سلوكه الفعلي: أصبح الوكلاء أفضل في الكشف عن المواقع المشبوهة ووصف العلامات التحذيرية، ولكن هذا الكشف لم يمنعهم دائمًا من الاستمرار في المعاملة.

يسارًا: تسرب معلومات التعريف الشخصية عند التعرف إلى الموقع المشبوه مقارنة بعدم التعرف إليه؛ حتى في الشرط C3، سرّب أكثر من ثلث الوكلاء الذين تعرفوا إلى الخطر البيانات رغم ذلك. يمينًا: الفجوة بين الكشف والتصرف في GPT-5 mini وClaude Haiku 4.5 وGemini 3 Flash وLlama 4 Scout.
في تقييم منفصل، قارن 16 مراجعًا صفحات SCAMMER4U مع مواقع احتيالية حقيقية وأداءهم لم يكن أفضل من الصدفة. وفقًا للورقة، هذا يشير إلى أن المعيار قد أدرج العديد من الإشارات البصرية والإجرائية الموجودة في الاحتيال عبر الإنترنت الحقيقي.
الاستنتاج
يبدو أن النماذج التي تم اختبارها – والتي تمثل على نطاق واسع المنطق المعماري عبر عائلات LLM الشهيرة – لديها مشكلة داخلية في الانسحاب من السيناريوهات الخطرة المعترف بها، أو كبح اندفاعهم إلى إتمام المهمة. يشير المنطق إلى أن هذا قد يكون متعلقًا بالصعوبة العامة التي يعرفها النماذج اللغوية المتقدمة فيما يتعلق بالإقرار بالهزيمة في مسألة معينة – وهي مهارة البقاء الأساسية التي، في الوقت الحالي، يمكن أن تُفرض فقط من الخارج، من خلال توجيهات النظام والنظم الثانوية والقيود على الإخراج.
إذا كانت “الفجوة” الموصوفة، بين الخطر المتصور والدافع الملحّ إلى الاستمرار، متأصلة حقًا إلى هندسة LLM، ولا يمكن علاجها بشكل طبيعي، فإن البديل الوحيد يبدو أن يكون مراقبة إجراءات النموذج بشكل خوارزمي في السيناريوهات الحرجة – مما يقلل بشكل فعال من فائدة الوكيل إلى روتين أكثر تقييدًا من نوع RPA.
نشرت لأول مرة يوم السبت، 6 يونيو 2026












