ما هي الهلوسة LLM؟ الأسباب والمخاوف الأخلاقية والوقاية

نماذج اللغات الكبيرة (LLMs) هي أنظمة ذكاء اصطناعي قادرة على تحليل وإنشاء نص يشبه الإنسان. لكن لديهم مشكلة - هلوسات LLM ، أي اختلاق الأشياء. جعلت الهلوسة LLM الباحثين قلقين بشأن التقدم في هذا المجال لأنه إذا لم يتمكن الباحثون من التحكم في نتائج النماذج ، فلن يتمكنوا من بناء أنظمة حرجة لخدمة البشرية. المزيد عن هذا لاحقًا.

بشكل عام ، تستخدم LLM كميات هائلة من بيانات التدريب وخوارزميات التعلم المعقدة لتوليد مخرجات واقعية. في بعض الحالات، يتم استخدام التعلم في السياق لتدريب هذه النماذج باستخدام أمثلة قليلة فقط. أصبحت LLMs شائعة بشكل متزايد عبر مجالات التطبيق المختلفة التي تتراوح من الترجمة الآلية ، وتحليل المشاعر ، والمساعدة الافتراضية للذكاء الاصطناعي ، والتعليق التوضيحي للصور ، معالجة اللغة الطبيعية، الخ.

على الرغم من الطبيعة المتطورة للـ LLM ، فإنها لا تزال عرضة للتحيز والأخطاء والهلوسة. ذكر Yann LeCun ، كبير علماء الذكاء الاصطناعي الحالي في Meta ، مؤخرًا الخلل المركزي في LLMs الذي يسبب الهلوسة: لا تملك نماذج اللغة الكبيرة أدنى فكرة عن الواقع الكامن الذي تصفه اللغة. تُنتج هذه الأنظمة نصوصًا سليمة نحويًا ودلاليًا، لكنها لا تهدف في الواقع سوى إلى تحقيق الاتساق الإحصائي مع المطلوب.

الهلوسة في LLMs

الصورة عن طريق جيرد التمان من Pixabay

تشير الهلوسة إلى النموذج الذي يولد مخرجات صحيحة نحويًا ودلالة ولكنها منفصلة عن الواقع ، وتستند إلى افتراضات خاطئة. الهلوسة هي واحدة من الاهتمامات الأخلاقية الرئيسية للماجستير، ويمكن أن يكون لها عواقب ضارة حيث يبدأ المستخدمون الذين ليس لديهم معرفة كافية بالمجال في الاعتماد المفرط على هذه النماذج اللغوية المتزايدة الإقناع.

درجة معينة من الهلوسة أمر لا مفر منه في جميع LLMs الانحدار الذاتي. على سبيل المثال ، يمكن للنموذج أن ينسب اقتباسًا مزيفًا إلى أحد المشاهير الذي لم يُقال أبدًا. قد يؤكدون شيئًا ما حول موضوع معين غير صحيح من الناحية الواقعية أو يستشهدون بمصادر غير موجودة في الأوراق البحثية ، وبالتالي ينشرون معلومات مضللة.

ومع ذلك ، فإن جعل نماذج الذكاء الاصطناعي تتعرض للهلوسة ليس له دائمًا آثار ضارة. على سبيل المثال ، أ تقترح دراسة جديدة يكتشف العلماء "بروتينات جديدة ذات مجموعة غير محدودة من الخصائص" من خلال هلوسات LLM.

ما الذي يسبب الهلوسة LLMs؟

يمكن أن تسبب LLMs الهلوسة بسبب عوامل مختلفة ، تتراوح من أخطاء التجهيز في الترميز وفك التشفير إلى تحيز التدريب.

Overfitting

الصورة عن طريق جانجف 93 من Pixabay

تعد التجهيز الزائد مشكلة حيث يناسب نموذج الذكاء الاصطناعي بيانات التدريب بشكل جيد للغاية. ومع ذلك، فإنه لا يمكنه تمثيل النطاق الكامل للمدخلات التي قد يواجهها، على سبيل المثال، فشل في تعميم قوته التنبؤية إلى بيانات جديدة غير مرئية. يمكن أن يؤدي التجهيز الزائد إلى إنتاج النموذج لمحتوى مهلوس.

أخطاء الترميز وفك التشفير

الصورة عن طريق geralt من Pixabay

إذا كانت هناك أخطاء في ترميز وفك تشفير النص والتمثيلات اللاحقة ، فقد يتسبب ذلك أيضًا في أن يولد النموذج مخرجات غير منطقية وخاطئة.

تحيز التدريب

الصورة عن طريق سفرجل الابداع من Pixabay

هناك عامل آخر يتمثل في وجود بعض التحيزات في بيانات التدريب، مما قد يؤدي إلى تقديم النموذج نتائج تُمثل تلك التحيزات بدلًا من الطبيعة الفعلية للبيانات. وهذا يُشبه نقص التنوع في بيانات التدريب، مما يحد من قدرة النموذج على التعميم على البيانات الجديدة.

يجعل الهيكل المعقد لـ LLM من الصعب جدًا للباحثين والممارسين في مجال الذكاء الاصطناعي تحديد وتفسير وتصحيح هذه الأسباب الكامنة وراء الهلوسة.

المخاوف الأخلاقية من الهلوسة LLM

يمكن للـ LLM أن تديم التحيزات الضارة وتضخمها من خلال الهلوسة ويمكن أن تؤثر سلبًا على المستخدمين ولها عواقب اجتماعية ضارة. بعض من أهم هذه الاهتمامات الأخلاقية مذكورة أدناه:

المحتوى التمييزي والسام

الصورة عن طريق ar130405 من Pixabay

نظرًا لأن بيانات تدريب LLM غالبًا ما تكون مليئة بالصور النمطية الاجتماعية والثقافية بسبب التحيزات المتأصلة ونقص التنوع. يمكن للماجستير في القانون ، بالتالي ، إنتاج وتعزيز هذه الأفكار الضارة ضد الفئات المحرومة في المجتمع.

يمكنهم إنشاء هذا المحتوى التمييزي والكراهية على أساس العرق والجنس والدين والعرق ، وما إلى ذلك.

مشاكل خصوصية

الصورة عن طريق يناير من Pixabay

يتم تدريب LLM على مجموعة تدريب ضخمة تتضمن غالبًا المعلومات الشخصية للأفراد. كانت هناك حالات حيث مثل هذه النماذج انتهكت خصوصية الناس. يمكنهم تسريب معلومات محددة مثل أرقام الضمان الاجتماعي وعناوين المنازل وأرقام الهواتف المحمولة والتفاصيل الطبية.

التضليل والمعلومات المضللة

الصورة عن طريق geralt من Pixabay

يمكن أن تنتج النماذج اللغوية محتوى شبيهًا بالبشر يبدو دقيقًا ولكنه في الواقع خاطئ وغير مدعوم بأدلة تجريبية. يمكن أن يكون هذا عرضيًا ، مما يؤدي إلى معلومات مضللة ، أو قد يكون وراءه نية خبيثة لنشر معلومات مضللة عن عمد. إذا استمر هذا دون رادع ، يمكن أن يخلق اتجاهات اجتماعية - ثقافية - اقتصادية - سياسية معاكسة.

منع الهلوسة LLM

الصورة عن طريق ثلاثاء 23 من Pixabay

يتخذ الباحثون والممارسون مناهج مختلفة لمعالجة مشكلة الهلوسة في LLMs. وتشمل هذه تحسين تنوع بيانات التدريب ، والقضاء على التحيزات المتأصلة ، واستخدام تقنيات تنظيم أفضل ، واستخدام التدريب العدائي والتعلم المعزز ، من بين أمور أخرى:

• تطوير تقنيات تنظيم أفضل هو جوهر معالجة الهلوسة. أنها تساعد في منع فرط التجهيز وغيرها من المشاكل التي تسبب الهلوسة.
• يمكن أن تقلل زيادة البيانات من تواتر الهلوسة ، كما يتضح من أ دراسة بحثية. تتضمن زيادة البيانات زيادة مجموعة التدريب عن طريق إضافة رمز عشوائي في أي مكان في الجملة. يضاعف حجم مجموعة التدريب ويؤدي إلى انخفاض في وتيرة الهلوسة.
• قامت شركة OpenAI وDeepMind التابعة لشركة Google بتطوير تقنية تسمى تعزيز التعلم مع ردود الفعل البشرية (RLHF) لمعالجة مشكلة الهلوسة في ChatGPT. يتضمن ذلك مُقيِّمًا بشريًا يُراجع استجابات النموذج باستمرار ويختار الأنسب لمطالبات المستخدم. تُستخدم هذه الملاحظات بعد ذلك لتعديل سلوك النموذج. ذكر إيليا سوتسكيفر، كبير علماء OpenAI، مؤخرًا أن هذا النهج يُمكن يحتمل أن تحل الهلوسة في ChatGPT: "أنا متفائل للغاية بأنه بمجرد تحسين هذا التعلم التعزيزي اللاحق من خطوة ردود الفعل البشرية، يمكننا تعليمه عدم الهلوسة".
• تحديد المحتوى المهلوس لاستخدامه كمثال للتدريب في المستقبل هو أيضًا طريقة تستخدم لمعالجة الهلوسة. أ تقنية جديدة وفي هذا الصدد، يكتشف الهلوسة على مستوى الرمز ويتنبأ بما إذا كان كل رمز في المخرجات مهلوسًا. ويتضمن أيضًا طريقة للتعلم غير الخاضع للرقابة لكاشفات الهلوسة.

كشف الهلوسة على مستوى الرمز

ببساطة، تُشكّل هلوسات LLM مصدر قلق متزايد. ورغم الجهود المبذولة، لا يزال هناك الكثير من العمل الذي يتعين القيام به لمعالجة هذه المشكلة. ويعني تعقيد هذه النماذج صعوبة تحديد الأسباب الكامنة للهلوسة ومعالجتها بشكل صحيح.

ومع ذلك ، مع استمرار البحث والتطوير ، من الممكن تخفيف الهلوسة في LLM وتقليل عواقبها الأخلاقية.

إذا كنت ترغب في معرفة المزيد عن LLM والتقنيات الوقائية التي يتم تطويرها لتصحيح الهلوسة LLM ، تحقق من Unite.ai لتوسيع معرفتك.