تعتبر مياه العلامة للنموذج اللغوي الكبير، التي تدمج إشارات غير مرئية ولكن يمكن الكشف عنها في مخرجات النموذج لتحديد النص الذي تم إنشاؤه بواسطة النماذج اللغوية الكبيرة، أمرًا حيويًا لمنع إساءة استخدام النماذج اللغوية الكبيرة. وتقسم تقنيات مياه العلامة هذه بشكل رئيسي إلى فئتين: عائلة KGW وعائلة Christ. تعمل عائلة KGW على تعديل اللوجيت التي ينتجها النموذج اللغوي الكبير لإنشاء مخرجات محددة بمياه العلامة عن طريق تصنيف المفردات إلى قائمة خضراء وقائمة حمراء بناءً على الرمز السابق. يتم إدخال انحياز إلى اللوجيت لحروف القائمة الخضراء خلال إنشاء النص، مما يفضل هذه الحروف في النص المنشأ. ثم يتم حساب مقياس إحصائي من نسبة الكلمات الخضراء، ويتحدد عتبة لتمييز النص المحدد بمياه العلامة عن النص غير المحدد بمياه العلامة. وتشمل التحسينات على طريقة KGW تحسين تقسيم القائمة، وتعديل اللوجيت بشكل أفضل، وزيادة سعة معلومات مياه العلامة، ومقاومة هجمات إزالة مياه العلامة، والقدرة على الكشف عن مياه العلامة بشكل عام.

من ناحية أخرى، تعمل عائلة Christ على تعديل عملية العينة أثناء إنشاء النص بواسطة النموذج اللغوي الكبير، وتدمج مياه العلامة عن طريق تغيير كيفية اختيار الرموز. تهدف عائلات مياه العلامة إلى تحقيق توازن بين قابلية الكشف عن مياه العلامة وجودة النص، وتحديات مثل متانة الإعدادات المختلفة لEntropy، وزيادة سعة معلومات مياه العلامة، وحماية ضد محاولات الإزالة. ركزت الأبحاث الحديثة على تحسين تقسيم القائمة وتعديل اللوجيت، وزيادة سعة معلومات مياه العلامة، وتطوير أساليب لمقاومة إزالة مياه العلامة، وتمكين الكشف العام. في النهاية، تعتبر مياه العلامة للنموذج اللغوي الكبير أمرًا حيويًا للاستخدام الأخلاقي والمسؤول للنماذج اللغوية الكبيرة، وتوفر طريقة لتتبع وتأكيد النص الذي تم إنشاؤه بواسطة النموذج اللغوي الكبير. تقدم عائلات KGW وChrist نهجين متميزين، كل مع قوته الفريدة وتطبيقاته، وتتطور بشكل مستمر من خلال الأبحاث والابتكار المستمر.

نظرًا لقدرة إطارات مياه العلامة للنموذج اللغوي الكبير على دمج إشارات يمكن الكشف عنها خوارزميًا في مخرجات النموذج لتحديد النص الذي تم إنشاؤه بواسطة إطار النموذج اللغوي الكبير، تلعب دورًا حيويًا في التخفيف من المخاطر المرتبطة بإساءة استخدام النماذج اللغوية الكبيرة. ومع ذلك، هناك وفرة من إطارات مياه العلامة للنموذج اللغوي الكبير في السوق حاليًا، كل منها بمواقف وطرق تقييم خاصة به، مما يجعل من الصعب على الباحثين تجربة هذه الإطارات بسهولة. لمواجهة هذه القضية، تقدم MarkLLM، وهو أداة مفتوحة المصدر لمياه العلامة، إطارًا قابلًا للتوسيع وموحدًا لتنفيذ خوارزميات مياه العلامة للنموذج اللغوي الكبير، مع توفير واجهات سهلة الاستخدام لضمان سهولة الاستخدام والوصول. بالإضافة إلى ذلك، تدعم إطار MarkLLM التصور التلقائي لأليات هذه الإطارات، مما يعزز فهم هذه النماذج. يوفر إطار MarkLLM مجموعة شاملة من 12 أداة تغطي ثلاثة مواقف، إلى جانب خطوط أنابيب تقييم آلية لتقدير أدائه.

مارك إل إم: أداة مفتوحة المصدر لمياه العلامة للنموذج اللغوي الكبير

مع ظهور إطارات النموذج اللغوي الكبير مثل LLaMA وGPT-4 وChatGPT وغيرها، تقدم بشكل كبير قدرة نماذج الذكاء الاصطناعي على أداء مهام محددة، بما في ذلك الكتابة الإبداعية، وفهم المحتوى، واسترجاع المعلومات، وغيرها الكثير. ومع ذلك، إلى جانب الفوائد الرائعة المرتبطة بمهارات النماذج اللغوية الكبيرة الحالية، ظهرت مخاطر معينة، بما في ذلك كتابة الأوراق الأكاديمية الوهمية، والأخبار الوهمية والمواقف التي تم إنشاؤها بواسطة النموذج اللغوي الكبير، والتقليد الفردي، وغيرها. نظرًا للمخاطر المرتبطة بهذه القضايا، من المهم تطوير أساليب موثوقة قادرة على تمييز النص الذي تم إنشاؤه بواسطة النموذج اللغوي الكبير عن المحتوى البشري، وهو متطلب أساسي لضمان صحة الاتصالات الرقمية، ومنع انتشار المعلومات الخاطئة.

لجسور الفجوة الحالية، يحاول إطار MarkLLM تقديم المساهمات التالية. يوفر MarkLLM واجهات متسقة وسهلة الاستخدام لتحميل الخوارزميات، وإنشاء نص محدد بمياه العلامة، وتنفيذ عمليات الكشف، وجمع البيانات للتصور. كما يوفر حلولًا مخصصة للتصور للعائلات الرئيسية للخوارزميات، مما يسمح للمستخدمين بمشاهدة كيفية عمل الخوارزميات المختلفة في إعدادات مختلفة مع أمثلة من العالم الحقيقي. يتضمن الإطار وحدة تقييم شاملة مع 12 أداة تتعامل مع قابلية الكشف، والمتانة، وتأثير جودة النص. بالإضافة إلى ذلك، يحتوي على خطوط أنابيب تقييم آلية من نوعين يدعمان تخصيص المستخدم لمجموعات البيانات، والنماذج، ومقاييس التقييم، والهجمات، مما يسهل التقييمات المرنة والشاملة. مصممًا مع هندسة متصلة بالمواد، يعزز MarkLLM من قابلية التوسع والمرونة. يsupports هذا الاختيار الهندسي دمج خوارزميات جديدة، وطرق تصور مبتكرة، وتوسيع أداة التقييم من قبل المطورين في المستقبل.

تم اقتراح العديد من خوارزميات مياه العلامة، ولكن نهجها الفريد في التنفيذ غالبًا ما يفضل متطلبات معينة على التوحيد، مما يؤدي إلى عدة مشاكل.

1. نقص التوحيد في تصميم الفئة: هذا يتطلب جهدًا كبيرًا لتحسين أو توسيع الأساليب الحالية بسبب تصاميم الفئات غير الموحدة.
2. نقص التوحيد في واجهات الاتصال: واجهات غير متسقة تجعل معالجة الدفعات وتمثيل الخوارزميات المختلفة أمرًا مرهقًا ومرهقًا.
3. مشاكل معايير الكود: تشمل هذه التحديات الحاجة إلى تعديل الإعدادات عبر مقاطع كود متعددة، وتوثيق غير متسق، مما يُ复ّق التخصيص والاستخدام الفعال. كما تعيق القيم الثابتة ومعالجة الأخطاء غير المتسقة جهود التكيف والتصحيح.

لمواجهة هذه القضايا، يوفر أداتنا إطارًا موحدًا للتنفيذ يسمح باستدعاء الخوارزميات الحالية بسهولة تحت إعدادات مرنة. بالإضافة إلى ذلك، يفتح تصميمنا المeticulously للهيكل الفئة الطريق لتوسيعات مستقبلية. يُظهر الشكل التالي تصميم هذا الإطار الموحد.

بسبب تصميم الإطار التوزيعي، من السهل على المطورين إضافة واجهات üst إلى أي فئة خوارزمية محددة بمياه العلامة دون القلق من التأثير على الخوارزميات الأخرى.

مارك إل إم: الهندسة والمетодولوجيا

تُقسم تقنيات مياه العلامة للنموذج اللغوي الكبير بشكل رئيسي إلى فئتين: عائلة KGW وعائلة Christ. تعمل عائلة KGW على تعديل اللوجيت التي ينتجها النموذج اللغوي الكبير لإنشاء مخرجات محددة بمياه العلامة عن طريق تصنيف المفردات إلى قائمة خضراء وقائمة حمراء بناءً على الرمز السابق. يتم إدخال انحياز إلى اللوجيت لحروف القائمة الخضراء خلال إنشاء النص، مما يفضل هذه الحروف في النص المنشأ. ثم يتم حساب مقياس إحصائي من نسبة الكلمات الخضراء، ويتحدد عتبة لتمييز النص المحدد بمياه العلامة عن النص غير المحدد بمياه العلامة. تشمل التحسينات على طريقة KGW تحسين تقسيم القائمة، وتعديل اللوجيت بشكل أفضل، وزيادة سعة معلومات مياه العلامة، ومقاومة هجمات إزالة مياه العلامة، والقدرة على الكشف عن مياه العلامة بشكل عام.

من ناحية أخرى، تعمل عائلة Christ على تعديل عملية العينة أثناء إنشاء النص بواسطة النموذج اللغوي الكبير، وتدمج مياه العلامة عن طريق تغيير كيفية اختيار الرموز. تهدف عائلات مياه العلامة إلى تحقيق توازن بين قابلية الكشف عن مياه العلامة وجودة النص، وتحديات مثل متانة الإعدادات المختلفة لEntropy، وزيادة سعة معلومات مياه العلامة، وحماية ضد محاولات الإزالة. ركزت الأبحاث الحديثة على تحسين تقسيم القائمة وتعديل اللوجيت، وزيادة سعة معلومات مياه العلامة، وتطوير أساليب لمقاومة إزالة مياه العلامة، وتمكين الكشف العام. في النهاية، تعتبر مياه العلامة للنموذج اللغوي الكبير أمرًا حيويًا للاستخدام الأخلاقي والمسؤول للنماذج اللغوية الكبيرة، وتوفر طريقة لتتبع وتأكيد النص الذي تم إنشاؤه بواسطة النموذج اللغوي الكبير.

التقييم الشامل الآلي

تعتبر تقييم خوارزمية مياه العلامة للنموذج اللغوي الكبير مهمة معقدة. أولًا، يتطلب考虑 جوانب متعددة، بما في ذلك قابلية الكشف عن مياه العلامة، والمتانة ضد التلاعب، وتأثير جودة النص. ثانيًا، قد تتطلب التقييمات من كل منظور مقاييس ومحاكاة هجمات ومهام مختلفة. بالإضافة إلى ذلك، يتضمن التقييم عادةً خطوات متعددة، مثل اختيار النموذج ومجموعة البيانات، وإنشاء نص محدد بمياه العلامة، والمعالجة اللاحقة، والكشف عن مياه العلامة، والتلاعب بالنص، و계산 المقياس. لتسهيل التقييم المريح والشامل لخوارزميات مياه العلامة للنموذج اللغوي الكبير، يوفر MarkLLM اثنتي عشرة أداة سهلة الاستخدام، بما في ذلك حسابات مقاييس مختلفة ومهاجمين يغطون ثلاثة مواقف تقييمية مذكورة أعلاه. بالإضافة إلى ذلك، يوفر MarkLLM خطوط أنابيب تجريبية آلية من نوعين، يمكن تخصيص وحداتها وتجميعها بسهولة، مما يسمح بالتكوين والاستخدام بسهولة.

من حيث قابلية الكشف، تتطلب معظم خوارزميات مياه العلامة في النهاية تحديد عتبة لتمييز النص المحدد بمياه العلامة عن النص غير المحدد بمياه العلامة. نقدم حاسبة معدل نجاح أساسي باستخدام عتبة ثابتة. بالإضافة إلى ذلك، لتحقيق أقصى قدر من قابلية الكشف، نقدم أيضًا حاسبة تدعم اختيار عتبة ديناميكي. يمكن لهذه الأداة تحديد العتبة التي تؤدي إلى أفضل نتيجة F1 أو اختيار عتبة بناءً على معدل إيجابي كاذب مستهدف من قبل المستخدم.

من حيث المتانة، يوفر MarkLLM ثلاث هجمات على مستوى الكلمة: حذف كلمة عشوائي بنسبة محددة، استبدال مرادف عشوائي باستخدام WordNet ك مجموعة المرادفات، و استبدال مرادف متأثر بالسياق باستخدام BERT كنموذج التضمين. بالإضافة إلى ذلك، يوفر هجمتين على مستوى المستند: إعادة صياغة السياق عبر واجهة برمجة تطبيقات OpenAI أو نموذج Dipper. من حيث جودة النص، يوفر MarkLLM أداتين تحليل مباشر: حاسبة الارتباك لقياس السلاسة، وحاسبة التنوع لتقييم تباين النص. لتحليل تأثير مياه العلامة على جودة النص في مهام محددة، يوفر حاسبة BLEU لمهام الترجمة الآلية، وقاضي تمرير أو عدمه ل مهام إنشاء الكود. بالإضافة إلى ذلك، نظرًا للأساليب الحالية لمقارنة جودة النص المحدد بمياه العلامة والنص غير المحدد بمياه العلامة، والتي تشمل استخدام نموذج لغة أقوى للقضاء، يوفر MarkLLM أيضًا حكم GPT، الذي يستخدم GPT-4 لمقارنة جودة النص.

خطوط الأنابيب التقييمية

لمتسهيل التقييم الآلي لخوارزميات مياه العلامة للنموذج اللغوي الكبير، يوفر MarkLLM خطين أنابيب تقييم: أحدهما لتقييم قابلية الكشف عن مياه العلامة مع أو بدون هجمات، والآخر لتحليل تأثير هذه الخوارزميات على جودة النص. بعد هذه العملية، قمنا بتنفيذ خطين أنابيب: WMDetect3 وUWMDetect4. الفرق الرئيسي بينهما يكمن في مرحلة إنشاء النص. يعتمد الأول على استخدام طريقة generate_watermarked_text من خوارزمية مياه العلامة، بينما يعتمد الآخر على معامل text_source لتحديد ما إذا كان سيتم استرجاع النص الطبيعي مباشرة من مجموعة بيانات أو استدعاء طريقة generate_unwatermarked_text.

لتقييم تأثير مياه العلامة على جودة النص، يتم إنشاء أزواج من النص المحدد بمياه العلامة والنص غير المحدد بمياه العلامة. يتم بعد ذلك معالجة هذه النصوص، إلى جانب المدخلات الأخرى الضرورية، وتمريرها إلى محلل جودة نص معين لإنتاج نتائج تحليلية ومقارنة مفصلة. بعد هذه العملية، قمنا بتنفيذ ثلاثة خطوط أنابيب لسيناريوهات تقييمية مختلفة:

1. DirectQual.5: هذا الخط الأنابيب مخصص لتحليل جودة النص من خلال مقارنة مباشرة لمواصفات النص المحدد بمياه العلامة مع تلك الخاصة بالنص غير المحدد بمياه العلامة. يقيم مقاييس مثل الارتباك (PPL) والتنوع اللوغاريتمي، دون الحاجة إلى أي نص مرجعي خارجي.
2. RefQual.6: هذا الخط الأنابيب يقييم جودة النص من خلال مقارنة النص المحدد بمياه العلامة والنص غير المحدد بمياه العلامة بنص مرجعي مشترك. يقيس درجة التشابه أو الانحراف عن النص المرجعي، مما يجعله مثاليًا لسيناريوهات تتطلب مهام محددة لتقدير جودة النص، مثل الترجمة الآلية وإنشاء الكود.
3. ExDisQual.7: هذا الخط الأنابيب يستخدم حكمًا خارجيًا، مثل GPT-4 (OpenAI، 2023)، لتقييم جودة النص المحدد بمياه العلامة والنص غير المحدد بمياه العلامة. يقيم الحكم النص بناءً على وصف المهام المقدمة من قبل المستخدم، ويتعرف على أي تدهور أو الحفاظ على الجودة بسبب مياه العلامة. هذه الطريقة قيمة بشكل خاص عندما يُطلب تحليل متقدم قائم على الذكاء الاصطناعي لآثار مياه العلامة الدقيقة.

مارك إل إم: التجارب والنتائج

为了 تقييم أدائه، يقوم إطار MarkLLM بتقديم التقييمات على تسعة خوارزميات مختلفة، ويتحقق من تأثيرها، ومتانتها، وقابلية الكشف عنها على جودة النص.

الجدول التالي يحتوي على نتائج تقييم قابلية الكشف عن تسعة خوارزميات مدعومة في MarkLLM. يتم استخدام تعديل عتبة ديناميكي لتقدير قابلية الكشف عن مياه العلامة، مع ثلاث إعدادات: تحت معدل إيجابي كاذب مستهدف بنسبة 10٪، تحت معدل إيجابي كاذب مستهدف بنسبة 1٪، و تحت ظروف أداء F1 المثالي. يتم إنشاء 200 نص محدد بمياه العلامة، في حين يخدم 200 نص غير محدد بمياه العلامة كأمثلة سلبية. نقدم معدل الكشف الصحيح (TPR) ومعدل F1 تحت تعديلات عتبة ديناميكية لمعدل إيجابي كاذب بنسبة 10٪ و 1٪، إلى جانب TPR و TNR و FPR و FNR و P و R و F1 و ACC عند الأداء الأمثل.

أفكار ختامية

في هذه المقالة، تحدثنا عن MarkLLM، وهو أداة مفتوحة المصدر لمياه العلامة تقدم إطارًا قابلًا للتوسيع وموحدًا لتنفيذ خوارزميات مياه العلامة للنموذج اللغوي الكبير، مع توفير واجهات سهلة الاستخدام لضمان سهولة الاستخدام والوصول. بالإضافة إلى ذلك، يدعم إطار MarkLLM التصور التلقائي لأليات هذه الإطارات، مما يعزز فهم هذه النماذج. يوفر إطار MarkLLM مجموعة شاملة من 12 أداة تغطي ثلاثة مواقف، إلى جانب خطوط أنابيب تقييم آلية لتقدير أدائه.