حماية التحفيزات من تسربات البيانات في LLM

رأي منشور IBM NeurIPS 2024 مثير للاهتمام من أواخر عام 2024 أعيد نشره على Arxiv الأسبوع الماضي. يقترح نظامًا يمكن أن يتدخل تلقائيًا لحماية المستخدمين من تقديم معلومات شخصية أو حساسة في رسالة عند محادثتهم مع نموذج لغة كبير (LLM) مثل ChatGPT.

أمثلة محاكاة استخدمت في دراسة مستخدم لتحديد الطرق التي يفضل الناس التفاعل مع خدمة تدخل التحفيز. مصدر: https://arxiv.org/pdf/2502.18509

تم استخدام الأمثلة الموضحة أعلاه من قبل باحثي IBM في دراسة لاختبار الاحتكاك المحتمل للمستخدم مع هذا النوع من “التدخل”.

على الرغم من أن التفاصيل القليلة المعطاة حول تنفيذ الواجهة الرسومية، يمكننا افتراض أن هذه الوظيفة يمكن دمجها في إضافة متصفح تتواصل مع إطار LLM محلي “نار”؛ أو يمكن إنشاء تطبيق يمكنه الاتصال مباشرة بالواجهة البرمجية لشركة OpenAI، مما يؤدي إلى إعادة إنشاء برنامج độc lập لشركة OpenAI برنامج độc lập لشركة ChatGPT، ولكن مع حماية إضافية.

قال إن ChatGPT نفسها تساندها ردود الفعل تلقائيًا على التحفيزات التي تدرك أنها تحتوي على معلومات حرجة، مثل تفاصيل البنك:

ChatGPT يرفض المشاركة في التحفيزات التي تحتوي على معلومات أمنية حيوية، مثل تفاصيل البنك (التفاصيل في التحفيز أعلاه هي خيالية وغير وظيفية). مصدر: https://chatgpt.com/

ومع ذلك، ChatGPT أكثر تسامحًا فيما يتعلق بأنواع مختلفة من المعلومات الشخصية – حتى لو كان نشر هذه المعلومات قد لا يكون في مصلحة المستخدم (في هذه الحالة ربما لأسباب مختلفة تتعلق بالعمل والإفصاح):

المثال أعلاه هو خيالي، لكن ChatGPT لا يتردد في المشاركة في محادثة مع المستخدم حول موضوع حساس قد يشكل خطرًا محتملًا على السمعة أو الدخل (المثال أعلاه هو كليًا خيالي).

في هذه الحالة، ربما كان من الأفضل كتابة: ‘ما هو معنى تشخيص ابيضاض الدم على قدرة الشخص على الكتابة والحركة؟’

يحدد مشروع IBM هذه الطلبات ويعيد تفسيرها من موقف “شخصي” إلى موقف “عام”.

مخطط للنظام الذي يستخدم LLMs أو heuristics قائم على NLP لتحديد المواد الحساسة في التحفيزات المحتملة.

هذا يفترض أن المواد التي جمعتها LLMs عبر الإنترنت، في هذه المرحلة الوليدة من تبني الجمهور الحماسي لبرامج الدردشة الذكية، لن تنتقل أبدًا إلى نماذج لاحقة أو إلى إطارات إعلانية لاحقة قد تستغل استفسارات المستخدم لتقديم إعلانات مستهدفة.

على الرغم من أن هذا النظام أو الترتيب غير معروف حتى الآن، لم يكن هذا النوع من الوظائف متاحًا في بداية اعتماد الإنترنت في أوائل التسعينيات؛ منذ ذلك الحين، أدت مشاركة المعلومات عبر المجالات لإعلانات مخصصة إلى فضائح متنوعة، بالإضافة إلى شكوك متزايدة.

لذلك، يبدو أن التاريخ يقترح أنه من الأفضل تطهير مدخلات التحفيز LLM الآن، قبل أن تتراكم هذه البيانات بكميات كبيرة، وبefore أن تنتهي إلى دورات قواعد بيانات دائمة و/أو نماذج، أو هياكل ومخططات معلومات أخرى.

تذكرني؟

عامل واحد يعارض استخدام التحفيزات “العامة” أو المطهرة هو أن قدرة تخصيص API باهظ الثمن LLM مثل ChatGPT هو في الواقع جذاب، على الأقل في حالة الحالة الحالية – ولكن هذا يمكن أن يتضمن التعرض طويل الأمد لمعلومات خاصة.

أطلب من ChatGPT بشكل متكرر مساعدتي في صياغة نصوص برمجة Windows PowerShell وملفات BAT لتحسين العمليات، بالإضافة إلى المسائل الفنية الأخرى. بهذا الصدد، أجد أنه مفيد أن يتذكر النظام بشكل دائم تفاصيل حول الأجهزة التي لديها؛ مهاراتي الفنية الحالية (أو عدم وجودها)؛ والعديد من العوامل البيئية الأخرى والقواعد المخصصة:

ChatGPT يسمح للمستخدم بتطوير “ذاكرة” من الذكريات التي سيتم تطبيقها عند考虑 الاستجابات للمحفزات المستقبلية.

هذا يحتفظ بمعلومات عني على خوادم خارجية، خاضعة لشروط وأحكام قد تتطور مع مرور الوقت، دون أي ضمان أن OpenAI (على الرغم من أنها يمكن أن تكون أي شركة LLM أخرى) ستحترم الشروط التي وضعتها التي وضعتها.

بشكل عام، ومع ذلك، فإن قدرة بناء ذاكرة في ChatGPT هي الأكثر فائدة بسبب نافذة الانتباه المحدودة لنموذج LLMs بشكل عام؛ بدون تضمين طويل الأمد (مخصص)، يشعر المستخدم بالتواصل مع كيان يعاني من فقدان الذاكرة.

من الصعب القول ما إذا كانت النماذج الجديدة ستصبح في النهاية كفية الأداء لتوفير استجابات مفيدة دون الحاجة إلى ذاكرة مؤقتة أو إنشاء GPTs مخصصة يتم تخزينها عبر الإنترنت.

نسيان مؤقت

على الرغم من أنه يمكن جعل محادثات ChatGPT “مؤقتة”، فمن المفيد أن يكون تاريخ المحادثة كمرجع يمكن استخلاصه، عند توافر الوقت، إلى سجل محلي أكثر تماسكًا، ربما على منصة ملاحظات؛ ومع ذلك، لا يمكننا معرفة بالضبط ما يحدث لهذه “محادثات المخلفات” (على الرغم من أن OpenAI تبين أنها لن تستخدم لتدريب، لا تذكر أنها تم حذفها)، بناءً على بنية ChatGPT. كل ما نعرفه هو أن المحادثات لم تعد تظهر في تاريخنا عندما يتم تمكين “المحادثات المؤقتة” في ChatGPT.

تشير الجدل الأخير إلى أن مزودي API مثل OpenAI لا ينبغي أن يُترك لهم حماية خصوصية المستخدم، بما في ذلك اكتشاف التذكر الناشئ، مما يشير إلى أن نماذج LLMs الأكبر هي أكثر احتمالاً لتذكر بعض الأمثلة في التدريب بالكامل، وزيادة خطر كشف بيانات المستخدم – من بين حوادث عامة أخرى أقنعت العديد من الشركات الكبيرة، مثل سامسونج، حظر LLMs للاستخدام الداخلي للشركة.

فكر بشكل مختلف

هذا التوتر بين الفائدة القصوى والخطر المحتمل لنموذج LLMs سيتطلب بعض الحلول المبتكرة – ويبدو أن الاقتراح من IBM هو قالب أساسي مثير للاهتمام في هذا الصدد.

ثلاث إعادة صياغة من IBM توازن بين الفائدة وخصوصية البيانات. في الحزام الأدنى (الوردي)، نرى تحفيزًا ي超越 قدرة النظام على تطهيره بطريقة معناة.

يقوم نهج IBM بتعقب الحزم الصادرة إلى LLM على مستوى الشبكة، ويعيد كتابتها عند الضرورة قبل تقديم الأصل.

بالطبع، بدون وكالة كافية، قد لا يفهم المستخدم أنه يحصل على استجابة لتحفيز بديل. هذا نقص في الشفافية ي相当 إلى حجب نظام تشغيل لوصول إلى موقع أو خدمة دون إعلام المستخدم، الذي قد يبحث عن أسباب أخرى للمشكلة.

التحفيزات كأخطار أمنية

فرصة “تدخل التحفيز” تتشابه جيدًا مع أمان نظام Windows، الذي تطور من مجموعة من المنتجات التجارية القابلة للتثبيت (الإختياري) في التسعينيات إلى مجموعة أدوات دفاع شبكة غير اختيارية ومتعاقبة بشكل صارم مع تثبيت Windows، والتي تتطلب بعض الجهد لإيقاف تشغيلها أو تقليلها.

إذا تطورت تطهير التحفيز كما تطور جدران الحماية الشبكية خلال الثلاثين سنة الماضية، فإن الورقة المقترحة من IBM يمكن أن تكون بمثابة مخطط لل будущة: نشر LLM كامل على جهاز المستخدم لتصفية التحفيزات الصادرة إلى APIs LLM المعروفة. سيحتاج هذا النظام بالطبع إلى دمج إطارات واجهة المستخدم والإشعارات، مما يمنح المستخدمين التحكم – إلا إذا كانت السياسات الإدارية تتعارض مع ذلك، كما هو الحال في البيئات التجارية.

أجرى الباحثون تحليلًا لنسخة مفتوحة المصدر من ShareGPT لمعرفة مدى تكرار انتهاك الخصوصية السياقية في السيناريوهات الواقعية.

تم استخدام Llama-3.1-405B-Instruct كنموذج “قاضي” لاكتشاف انتهاكات السلامة السياقية. من مجموعة كبيرة من المحادثات، تم تحليل جزء فرعي من المحادثات ذات الدورة الواحدة بناءً على الطول. ثم قيم نموذج القاضي السياق والمعلومات الحساسة وضرورة إكمال المهمة، مما أدى إلى تحديد المحادثات التي تحتوي على انتهاكات محتملة للسلامة السياقية.

تم تحليل جزء فرعي صغير من هذه المحادثات، التي أظهرت انتهاكات واضحة للسلامة السياقية.

تم تنفيذ الإطار نفسه باستخدام نماذج أصغر من نماذج الوكيل الدردشي النموذجية مثل ChatGPT، لتمكين التوزيع المحلي عبر Ollama.

مخطط لنظام تدخل التحفيز.

تم تقييم ثلاثة نماذج LLMs: Mixtral-8x7B-Instruct-v0.1؛ Llama-3.1-8B-Instruct؛ و DeepSeek-R1-Distill-Llama-8B.

يتم معالجة التحفيزات للمستخدم من خلال الإطار في ثلاث مراحل: تحديد السياق؛ تصنيف المعلومات الحساسة؛ و إعادة الصياغة.

تم تنفيذ نهجين لتصنيف المعلومات الحساسة: التصنيف الديناميكي و التصنيف المنظم: التصنيف الديناميكي يحدد التفاصيل الأساسية بناءً على استخدامها في محادثة معينة؛ التصنيف المنظم يسمح بتحديد قائمة مسبقة من السمات الحساسة التي تعتبر غير أساسية دائمًا. يصيغ النموذج التحفيز إذا اكتشف تفاصيل غير أساسية حساسة عن طريق إزالتها أو إعادة صياغتها لتقليل مخاطر الخصوصية مع الحفاظ على الوظيفة.

قواعد المنزل

على الرغم من أن التصنيف المنظم ليس مفهومًا جيدًا في ورقة IBM، إلا أنه يشبه إلى حد كبير طريقة “تعريفات البيانات الخاصة” في مبادرة Private Prompts، التي توفر برنامجًا مستقلًا قابلًا للتنزيل يمكنه إعادة كتابة التحفيزات – على الرغم من أنه لا يمكنه التدخل مباشرة على مستوى الشبكة كما يفعل نهج IBM (بدلاً من ذلك، يجب على المستخدم نسخ ولصق التحفيزات المعدلة).

البرنامج النشط للتحفيزات الخاصة يسمح بقائمة بديلة من الاستبدالات لنص الإدخال للمستخدم.

في الصورة أعلاه، يمكننا رؤية أن مستخدم التحفيزات الخاصة يمكنه برمجة استبدالات تلقائية لمعلومات حساسة. في كلتا الحالتين، للتحفيزات الخاصة ونهج IBM، يبدو من غير المحتمل أن يحتاج مستخدم بهذا القدر من الوعي والرؤية الشخصية إلى هذا المنتج – على الرغم من أنه يمكن بناؤه مع مرور الوقت مع حدوث حوادث.

في دور إداري، يمكن أن يعمل التصنيف المنظم كحاجز أو شبكة حماية للموظفين؛ وفي شبكة منزلية، يمكن أن يصبح مرشحًا للشبكة المحلية لجميع مستخدمي الشبكة؛ ومع ذلك، يبدو هذا النهج في النهاية غير ضروري، لأن مستخدمًا يمكنه إعداد هذا بشكل صحيح يمكنه أيضًا الرقابة الذاتية بشكل فعال في المقام الأول.

رأي ChatGPT

منذ إطلاق ChatGPT أداته البحثية العميقة لمستخدمي الدفع، استخدمت هذه الأداة لطلب من ChatGPT مراجعة الأدب المرتبط واعطائي نظرة “ساخرة” على ورقة IBM. تلقيت الاستجابة الأكثر دفاعًا وازدراءً التي قدمها النظام عند طلبي منه لتقييم أو تفسير منشور جديد:

ChatGPT-4o لديه رأي منخفض في مشروع IBM.

‘إذا لم يثق المستخدمون في OpenAI أو Google أو Anthropic في التعامل مع بياناتهم بشكل مسؤول،’ يطرح ChatGPT. ‘لماذا سيثقون في طبقة برمجية ثالثة تقع بينهم وبين الذكاء الاصطناعي؟ الوسيط نفسه يصبح نقطة فشل جديدة – قد يسجل أو يسيء استخدام أو حتى ي泄 بيانات قبل أن تصل إلى LLM. لا يحل شيئًا إذا كان يخلق فقط كيانًا جديدًا للاستفادة من بيانات المستخدم.’

هذا الاعتراض يبدو خوديًا وغير قابل للتطبيق، بالنظر إلى تاريخ المشاريع المفتوحة المصدر التي تفيد المستخدمين النهائيين من خلال الجهود المتواصلة للمطورين والمساهمين في المجتمع؛ بالنظر إلى الإمكانات المتزايدة لأجهزة الهواتف المحمولة لتشغيل – وحتى تدريب – نماذج LLM خفيفة الوزن. بالتأكيد، في هذه الحالة، الحالة ليست متطلبة بشكل كبير.

بعد ذلك، يخطئ ChatGPT بثقة في نقطة مشروع IBM:

‘المرشح الفعال لخصوصية يتطلب فهم الإدخال قبل اتخاذ قرار ما يجب إزالته. إذا كان الوسيط كافٍ للاعتراف بالبيانات الحساسة (الأسماء، العناوين، التفاصيل المالية)، فإنه يعالج بالفعل ويفهم هذه البيانات – مما يعني أنه يجب تخزينها أو فحصها – وهو ما يتعين عليه محوه.’

‘هذا يطرح مفارقة: أ) مرشح غبي (استبدال أساسي للعبارات النمطية) سيكون غير فعال وسيفقد مخاطر الخصوصية الدقيقة. ب) مرشح ذكي (مرشح مدعوم بالنموذج) يجب أن يعالج الإدخال الكامل، مما يجعله nguy hiểmًا مثل LLM الأصلي.’

‘إذا كنت تثق في الوسيط بما يكفي لقراءة وإعادة كتابة إدخالاتك، فلماذا لا تثق في LLM نفسه؟’

الإجابة على السؤال الأخير هنا هي أن LLM المحلي يهدف إلى أن يكون كليًا على جانب المستخدم، وبالتالي مفتوح المصدر، مع الحد الأدنى من الحاجة إلى الوصول إلى الشبكة. يمكن أن يتعرض الوسيط التجاري المكافئ، مهما كان نيه في البداية، للتحول والتحول في الشروط والخدمات مع مرور الوقت، بينما سيتعذر على رخصة مفتوحة المنبع منع هذا النوع من “الفساد الحتمي”.

ادعى ChatGPT أيضًا أن اقتراح IBM “يكسر نية المستخدم”، لأنها يمكن أن تعيد تفسير التحفيز إلى بديل يؤثر على فائدته. ومع ذلك، هذا مشكلة أوسع في تطهير التحفيز، وليس محددًا لهذا الاستخدام المحدد.

في الختام (مما يعني تجاهله لاقتراحه باستخدام LLMs المحلية “بدلاً من ذلك”، وهو بالضبط ما يقترحه ورقة IBM)، قال ChatGPT إن نهج IBM يمثل عائقًا أمام التحول بسبب “احتكاك المستخدم” لتنفيذ أساليب تحذير وتحرير في دردشة.

هنا، قد يكون ChatGPT على حق؛ ومع ذلك، إذا تعرضت أرباح منطقة جغرافية معينة للخطر بسبب حوادث عامة أخرى، أو إذا رفضت الشركة ببساطة مغادرة المنطقة المتأثرة بالكامل، فإن تاريخ تكنولوجيا المستهلك يuggest أن الحماية ستكون في النهاية غير اختيارية.

الخلاصة

لا يمكننا توقع بصدق أن تطبق OpenAI حماية من هذا النوع، كما هو مقترح في ورقة IBM؛ على الأقل ليس بشكل فعال.

وبالطبع، ليس عالميًا؛ تمامًا مثل حظر Apple لميزات معينة من iPhone في أوروبا، ولينكد إن لديها قواعد مختلفة لاستغلال بيانات مستخدميها في بلدان مختلفة، من المعقول أن نقترح أن أي شركة ذكاء اصطناعي ستعتمد دائمًا على الشروط والأحكام الأكثر ربحية التي يمكن تحملها في أي دولة معينة تعمل فيها – في كل حالة، على حساب حق المستخدم في خصوصية البيانات، حسب الضرورة.

نشر لأول مرة يوم الخميس، 27 فبراير 2025

تم التحديث يوم الخميس، 27 فبراير 2025 15:47:11 بسبب وجود رابط خاطئ متعلق bằng Apple – MA