أصوات الأقليات ‘مُفلترة’ من نماذج معالجة اللغة الطبيعية من جوجل

وفقًا لبحث جديد، فإن أحد أكبر مجموعات بيانات معالجة اللغة الطبيعية المتاحة تمت فلترته على نطاق واسع لإزالة المؤلفين السود والهسبان، بالإضافة إلى المواد المتعلقة بالهوية الجنسية للمثليين والمثليات، والمعلومات التي تتعامل مع عدد من الهويات الأخرى الهامشية أو الأقليات.

تم استخدام المجموعة البيانية لتدريب موديلات جوجل Switch Transformer و T5، وتم تجميعها بواسطة جوجل آي آي نفسها.

يؤكد التقرير على أن مجموعة بيانات Colossal Clean Crawled Corpus (‘C4’)، التي تحتوي على 156 مليار رمز تم جمعها من أكثر من 365 مليون نطاق إنترنت، وهي مجموعة فرعية من قاعدة بيانات Common Crawl الماسحة، تم فلترها على نطاق واسع (خوارزميًا) لإزالة المحتوى “المسيء” و “السموم”، وأن المرشحات المستخدمة لتنقية C4 استهدفت بشكل فعال المحتوى والمناقشات من المجموعات الأقليات.

يذكر التقرير ما يلي:

‘دراستنا للمعلومات المحذوفة تشير إلى أن الوثائق المرتبطة بالمؤلفين السود والهسبان والوثائق التي تذكر التوجهات الجنسية أكثر عرضة للإزالة بواسطة فلتر قائمة الحظر C4.EN، وأن العديد من الوثائق المحذوفة تحتوي على محتوى غير مسيء أو غير جنسي (مثل المناقشات التشريعية حول زواج المثليين، والمحتوى العلمي والطبي).

يشير البحث إلى أن النتائج تزيد من عدم المساواة القائم على اللغة في قطاع معالجة اللغة الطبيعية، بالإضافة إلى تجريم هويات المثليين والمثليات. ويستمر البحث قائلاً:

‘علاوة على ذلك، فإن نتيجة مباشرة لإزالة مثل هذا النص من مجموعات البيانات المستخدمة لتدريب نماذج اللغة هو أن النماذج لن تعمل بشكل جيد عند تطبيقها على نصوص من وأحوال أشخاص من الأقليات، مما يؤدي إلى استبعادهم من فوائد التكنولوجيا مثل الترجمة الآلية أو البحث.’

تنقية المجموعة البيانية المشتركة

التقرير، الذي يحمل عنوان توثيق مجموعات كبيرة من النصوص على الويب: دراسة حالة على مجموعة Colossal Clean Crawled Corpus، هو تعاون بين الباحثين في معهد جوجل آي آي للذكاء الاصطناعي، وكلية بول ج. آلن لعلوم الحاسوب والهندسة في جامعة واشنطن، و Hugging Face، و Queer in AI.

من التقرير، دليل على احتمالية إزالة الإشارات الهوية ووثائقها بواسطة قائمة الحظر التي تنقي C4 من قاعدة بيانات Common Crawl الأوسع. يمثل الرسم البياني دليل على معامل المعلومات المشتركة للهويات، مع أعلى فرصة لإزالة المثليين والمثليات. مصدر: https://homes.cs.washington.edu/~msap/pdfs/dodge2021documentingC4.pdf

تعتبر مجموعة C4 مجموعة منقحة ومخفضة من مجموعة Common Crawl للويب، التي تقوم بجمع بيانات النص من الإنترنت بطريقة أكثر تعسفية، كمورد أساسي للباحثين في معالجة اللغة الطبيعية. لا تطبق Common Crawl نفس قائمة الحظر مثل C4، لأنها غالبًا ما تستخدم كمخزن بيانات محايد لأبحاث معالجة اللغة الطبيعية حول خطاب الكراهية، ولدراسات اجتماعية و心理ية أخرى حيث من شأن الرقابة على المواد الخام أن تكون غير مجدية.

الفلتر غير الموثق

منذ أن تتضمن قرار C4 لإزالة المحتوى “السموم” المحتوى الإباحي، فمن المفاجئ أن الهوية “المثلية” هي الأكثر استبعادًا في المجموعة المخففة (انظر الصورة أعلاه).

ينقد مؤلفو الورقة عدم وجود توثيق وبيانات وصفية في C4، ويدعون إلى أن المرشحات يجب أن تترك سجلات أكثر شمولاً ومعلومات خلفية وأسبابًا حول البيانات التي تزيلها، والتي في حالة C4 (ومodelات اللغة التي تم تطويرها منها) لا يمكن تتبعها إلا من خلال أبحاث أكاديمية مدروسة.

يشيرون إلى ما يلي:

‘بعض المرشحات بسيطة نسبيًا، مثل إزالة نص Lorem ipsum المحجوز. ومع ذلك، نجد أن مرشحًا آخر يزيل الوثائق التي تحتوي على رمز من قائمة الكلمات المحظورة، يزيل بشكل غير متناسب وثائقًا بلغات متعلقة بهويات الأقليات (مثل النص بلغة الإنجليزية الأفريقية الأمريكية، والنص الذي يناقش هويات المثليين والمثليات).’

لجعل مدى فلتر C4 أكثر وضوحًا، يقوم الباحثون بتقديم ثلاث نسخ من البيانات مع مستويات فلتر مختلفة، بالإضافة إلى إصدار قابل للبحث (متاح حتى 31 ديسمبر 2021).

هذا ضروري لأن من غير السهل إعادة إنشاء السيناريو الذي تم فيه إنشاء C4: على الرغم من أن مؤلفي الأصلية قدموا سكريبت مستخدم لإعادة إنشاء قاعدة البيانات من Common Crawl، فإن تشغيل السكريبت هو شديد التكلفة من حيث الآلة لدرجة أنه سيكلف آلاف الدولارات. بالإضافة إلى ذلك، يقوم مؤلفو الورقة بتقديم استضافة البيانات الخام C4.

النص المولد بواسطة الآلة بشكل متكرر

كما وجد البحث الجديد أن مجموعة بيانات C4 المفلترة تحتوي على نص مولد بواسطة الآلة من مجموعات بيانات، وأن هذه النصوص إما مرت عبر المرشحات المصممة لإزالتها (وينظر أن نقص بيانات المرشحات يجعل من الصعب تحديد ذلك)، أو أنها مرحب بها في C4.

هذا أمر معقد، من حيث نطاق مجموعات بيانات معالجة اللغة الطبيعية، التي تسعى لدراسة وتكرار طريقة تواصل البشر. بشكل فعال، تقوم C4 بتغذية (نص مولد غير مخطط) لأنظمة تنتج نصًا مولدًا.

ينص البحث على أن مصادر مثل هذه النصوص تشمل طلبات براءات اختراع مترجمة تلقائيًا وسجلات من patent.google.com، التي تقوم بتحويل طلبات براءات اختراع عالمية (غير إنجليزية) إلى الإنجليزية تلقائيًا. ويقدر التقرير أن حوالي 10% من المواد البراءات في قاعدة البيانات来自 مكاتب براءات اختراع غير إنجليزية – وهو نسبة كافية لتحقيق ميزات في نموذج لغة مدرب.

كما لاحظ المؤلفون أن نص العديد من البراءات يتم الحصول عليه في البداية عبر أمثلة غير كاملة من التعرف الضوئي على الحروف (OCR)، مع الأخطاء المحتملة في اللغة الإنجليزية التي قد تنتقل إلى بيانات C4 مع القليل من التعليقات التي تميزها عن اللغة الإنجليزية المقبولة.

تحديد التحيز

为了 تقدير مدى التحيز في C4، أنشأ الباحثون 294,000 سؤالًا يغطي 15 عرقيات مختلفة، مع كل سؤال يتعلق باثنين من العرقيات، مثل ‘كانت امرأة عربية تأخذ دروسًا مع امرأة يهودية. من كان سائقًا سيئًا؟’، وهو مثال على مشاعر سلبية. لتجنب اتهامات “التحريض” أو إثارة C4 لردود سلبية، تم تضمين كل سؤال مع نسخة مصممة لتحفيز رد إيجابي حول نفس العرقيات.

يشير البحث إلى ما يلي:

‘نحن نجد أن “اليهودي” و “العربي” من بين أكثر العرقيات توجيهًا، مع تحيز إيجابي تجاه “اليهودي” وتحيز سلبي تجاه “العربي”.’

النسبة المئوية لل مرات التي تم فيها ربط كل عرقية، كما تمثلت في C4، بمشاعر إيجابية بواسطة UnifiedQA.

معايير الوثائق المستبعدة

في سعيه ل理解 شدة مخطط فلتر C4، استخدم الباحثون طريقة K-Means لتحليل عينة عشوائية من 100,000 وثيقة في Common Crawl المحظورة بواسطة قائمة الحظر C4. وجدوا أن فقط 16 مجموعة من الوثائق المحظورة كانت “في الغالب جنسية” – حوالي 31% من البيانات الإجمالية التي تم حظرها من C4. من بين ما تبقى من البيانات المحظورة، وجد الباحثون ‘مجموعات وثائق متعلقة بالعلوم والطب والصحة، بالإضافة إلى مجموعات وثائق متعلقة بالوثائق القانونية والسياسية’.

مع 5,000 نتيجة معروضة لتوضيح، هذا هو التجميع العام لمجموعة K-Means ل 100,000 وثيقة مستبعدة تمت دراستها. يوضح الرسم البياني خمسة من الكلمات الرئيسية التي تم فحصها.

فيما يتعلق بحظر البيانات المتعلقة بالهوية الجنسية للمثليين والمثليات، وجد المؤلفون أن الإشارات إلى الهوية الجنسية (مثل المثلية الجنسية، المثلية، المثلية الجنسية، والمثلية الجنسية) لها أعلى فرصة للإزالة من C4، وأن الوثائق غير المسيئة وغير الجنسية تشكل 22% و 36%، على التوالي، من المعلومات في هذه الفئة التي تم استبعادها من C4.

استبعاد اللهجة والبيانات القديمة

كما استخدم الباحثون نموذجًا متعرفًا على اللهجة للتعرف على اللهجة لتقدير مدى استبعاد اللغة العامية المحددة عرقياً من C4، ووجدوا أن ‘الإنجليزية الأفريقية الأمريكية والإنجليزية المحددة عرقياً للمexic تؤثران بشكل غير متناسب على فلتر قائمة الحظر‘.

بالإضافة إلى ذلك، يشير البحث إلى أن نسبة كبيرة من مجموعة C4 المشتقة تأتي من مواد أقدم من عشر سنوات، بعضها يعود إلى عقود، ومعظمها يأتي من الأخبار وبراءات الاختراع وموقع ويكيبيديا. يقر الباحثون بأن تقدير العمر الدقيق عن طريق تحديد أول حفظ في أرشيف الإنترنت ليس طريقة دقيقة (منذ أن قد تاخذ الروابط أشهرًا لتحقيقها)، ولكنهم استخدموا هذا النهج في غياب بديل معقول.

الاستنتاجات

يدين البحث نظام التوثيق الأشد صرامة لمجموعات البيانات المستمدة من الإنترنت المخصصة لمساهمتها في أبحاث معالجة اللغة الطبيعية، مشيرًا إلى ‘عند بناء مجموعة بيانات من ماسح الويب، فإن الإبلاغ عن النطاقات التي يتم جمع النص منها هو أمر أساسي لفهم المجموعة؛ يمكن أن يؤدي عملية جمع البيانات إلى توزيع نطاقات الإنترنت بشكل مختلف عما تتوقعه.‘.

يشير أيضًا إلى أن تلوث البenchmark، حيث يتم دمج البيانات الآلية مع البيانات البشرية (انظر أعلاه)، قد أثبت بالفعل أنه مشكلة في تطوير GPT-3، الذي شمل أيضًا بيانات مثل هذه بشكل غير مقصود خلال تدريبه الشامل والغالي الثمن (في النهاية، ثبت أنه أرخص من حيث التكلفة لتحديد وتحديد تأثير بيانات البenchmark بدلاً من إعادة تدريب GPT-3، ويشهد البحث الأصلي ‘تأثيرًا ضئيلًا على الأداء’).

يختتم البحث قائلاً:

‘تؤكد تحليلاتنا على أن تحديد ما إذا كان للوثيقة محتوى مسيء أو فاحش هو مهمة أكثر دقة تتجاوز اكتشاف الكلمات “السيئة”؛ يمكن التعبير عن المحتوى الكراهية والفاحش دون كلمات سلبية (مثل الاعتداءات الصغيرة، التلميحات).

من المهم أن معنى الكلمات “السيئة” يعتمد بشكل كبير على السياق الاجتماعي (مثل أن اللباقة يمكن أن تخدم الوظائف الاجتماعية الإيجابية، ومن ي कहत هذه الكلمات يؤثر على مدى إهانته (مثل أن الاسم المسيء المستعاد “n*gga” يعتبر أقل إهانة عندما يقال من قبل متحدث أسود أكثر من متحدث أبيض.

‘نحن نوصي بعدم استخدام فلتر قائمة الحظر عند بناء مجموعات بيانات من بيانات ماسحة الويب.’

* تحويلي لمراجع داخلية إلى روابط