ما هي هلوسات LLM؟ الأسباب والاهتمامات الأخلاقية والوقاية

النماذج اللغوية الكبيرة (LLM) هي أنظمة ذكاء اصطناعي قادرة على تحليل وتوليد نص يشبه الإنسان. ولكن لديها مشكلة – LLM تهلوس ، أي تخترع الأشياء. لقد جعلت هلوسات LLM الباحثين قلقين بشأن التقدم في هذا المجال لأن إذا لم يتمكن الباحثون من التحكم في النتيجة للنماذج ، فإنهم لا يستطيعون بناء أنظمة حرجة لخدمة البشرية. المزيد عن هذا لاحقًا.

عادة ، تستخدم LLM كميات كبيرة من بيانات التدريب و خوارزميات التعلم المعقدة لتوليد مخرجات واقعية. في بعض الحالات ، يتم استخدام التعلم في السياق لتدريب هذه النماذج باستخدام فقط بعض الأمثلة. تصبح LLM أكثر شعبية بشكل متزايد عبر مختلف مجالات التطبيق التي تتراوح من الترجمة الآلية ، وتحليل المشاعر ، والمساعدة الافتراضية ، و تحليل الصور ، المعالجة اللغوية الطبيعية ، وغيرها.

尽管 الطبيعة المتقدمة للغاية من LLM ، إلا أنها لا تزال عرضة للتحيزات والأخطاء والهلوسات. يان لوكون ، رئيس عالم الذكاء الاصطناعي الحالي في ميتا ، ذكر مؤخرًا الخلل المركزي في LLM الذي يسبب الهلوسات : “النماذج اللغوية الكبيرة لا تعرف الواقع الكامن وراء اللغة التي تصفها. تلك الأنظمة تولد نصًا يبدو جيدًا من الناحية النحوية والدلالية ، ولكنها لا تمتلك هدفًا موضوعيًا بخلاف تحقيق الاتساق الإحصائي مع الاستدعاء”.

هلوسات في LLM

صورة من جيرالت من Pixabay

الهلوسات تشير إلى توليد النموذج لمخرجات متوافقة من الناحية النحوية والدلالية ولكنها غير متصلة بالواقع ، و基于 افتراضات خاطئة. الهلوسة هي واحدة من الاهتمامات الأخلاقية الرئيسية للنماذج اللغوية الكبيرة ، ويمكن أن يكون لها عواقب ضارة إذا بدأ المستخدمون بدون معرفة كافية بالdomain في الاعتماد بشكل كبير على هذه النماذج اللغوية المتزايدة في القناعة.

درجة معينة من الهلوسة لا مفر منها في جميع النماذج اللغوية الذاتية. على سبيل المثال ، يمكن للنموذج أن يattributes اقتباس زائف إلى مشهور لم يقل قط. قد يؤكد شيء ما حول موضوع معين هو خطأ من الناحية الفعلية أو يذكر مصادر غير موجودة في الأبحاث ، وبالتالي نشر معلومات خاطئة.

然而 ، لا يسبب دائمًا الحصول على نماذج الذكاء الاصطناعي للهلوسة آثار سلبية. على سبيل المثال ، يُظهر دراسة جديدة أن العلماء يكتشفون “بروتينات جديدة مع مجموعة لا حصر لها من الخصائص” من خلال نماذج LLM الهلوسة.

ما الذي يسبب هلوسات LLM؟

يمكن أن تهلوس LLM بسبب عوامل مختلفة ، تتراوح من أخطاء التحسين الزائد في التشفير وفك التشفير إلى التحيز في التدريب.

التحسين الزائد

صورة من janjf93 من Pixabay

التحسين الزائد هو مشكلة حيث يتم توجيه نموذج الذكاء الاصطناعي إلى بيانات التدريب بشكل جيد ، ولكن لا يمكنه تمثيل toàn bộ مدى الإدخالات التي قد يتعامل معها ، أي انه يفشل في تعميم قوته التنبؤية إلى بيانات جديدة غير موصلة. يمكن أن يؤدي التحسين الزائد إلى توليد محتوى هلوسة.

أخطاء التشفير وفك التشفير

صورة من جيرالت من Pixabay

إذا كانت هناك أخطاء في التشفير وفك التشفير للنص ومثيلاته اللاحقة ، يمكن أن يسبب ذلك أيضًا توليد النموذج لمخرجات غير منطقية وخطأ.

التحيز في التدريب

صورة من Quince Creative من Pixabay

عامل آخر هو وجود بعض التحيزات في بيانات التدريب ، والتي يمكن أن تسبب النموذج في إعطاء نتائج تمثل تلك التحيزات بدلاً من الطبيعة الفعلية للبيانات. هذا يشبه عدم تنوع بيانات التدريب ، مما يحد من قدرة النموذج على تعميم إلى بيانات جديدة.

تجعل البنية المعقدة للنماذج اللغوية الكبيرة من الصعب على الباحثين والممارسين تحديد وتفسير وتصحيح الأسباب الكامنة وراء الهلوسات.

الاهتمامات الأخلاقية لهلوسات LLM

يمكن للنماذج اللغوية الكبيرة أن تعزز وتضخم التحيزات الضارة من خلال الهلوسات ، ويمكن أن تؤثر سلبًا على المستخدمين ويمكن أن يكون لها عواقب اجتماعية ضارة. بعض هذه الاهتمامات الأخلاقية الأكثر أهمية هي:

المحتوى التمييزي والسموم

صورة من ar130405 من Pixabay

由于 بيانات التدريب للنماذج اللغوية الكبيرة غالبًا ما تكون مليئة بالاستереوتايب الاجتماعية والثقافية بسبب التحيزات والقلة في التنوع ، يمكن للنماذج اللغوية الكبيرة أن توليد وتعزيز هذه الأفكار الضارة ضد المجموعات المهمشة في المجتمع.

يمكن أن تولد هذه المحتوى التمييزي والكرهي بناءً على العرق والجنس والدين والقومية ، إلخ.

قضايا الخصوصية

صورة من JanBaby من Pixabay

النماذج اللغوية الكبيرة يتم تدريبها على مجموعة تدريبية ضخمة غالبًا ما تحتوي على معلومات شخصية للأفراد. هناك حالات حيث انتهكت مثل هذه النماذج الخصوصية للأشخاص. يمكن أن تتسرب معلومات محددة مثل أرقام التأمين الاجتماعي وعناوين المنازل وأرقام الهواتف وأسرار طبية.

المعلومات الخاطئة والمعلومات المضللة

صورة من جيرالت من Pixabay

النماذج اللغوية يمكن أن تولد محتوى يشبه الإنسان الذي يبدو دقيقًا ولكن في الواقع هو كاذب وغير مدعوم بالدليل التجريبي. يمكن أن يكون هذا عن طريق الخطأ ، مما يؤدي إلى معلومات خاطئة ، أو يمكن أن يكون هناك نية خبيثة ل_spread معلومات مضللة. إذا لم يتم التحكم فيها ، يمكن أن تؤدي إلى اتجاهات اجتماعية وثقافية واقتصادية وسياسية ضارة.

منع هلوسات LLM

صورة من athree23 من Pixabay

الباحثون والممارسون يتبنون مختلف المناهج لمعالجة مشكلة الهلوسات في النماذج اللغوية الكبيرة. تشمل هذه التحسينات تحسين تنوع بيانات التدريب ، وإزالة التحيزات الكامنة ، و sử dụng تقنيات تنظيم أفضل ، وتوظيف التدريب العدواني والتعلم التعزيزي ، وغيرها:

• تطوير تقنيات تنظيم أفضل هو جوهر معالجة الهلوسات. تساعد في منع التحسين الزائد والمشاكل الأخرى التي تسبب الهلوسات.
• يمكن أن تقلل تعزيز البيانات من تكرار الهلوسات ، كما هو موضح في دراسة بحثية. تعزيز البيانات يتضمن تعزيز مجموعة التدريب bằng إضافة رمز عشوائي في أي مكان في الجملة. يضاعف حجم مجموعة التدريب ويتسبب في انخفاض في تكرار الهلوسات.
• طوّرت OpenAI و DeepMind من جوجل تقنية تسمى التعلم التعزيزي مع反馈 بشري (RLHF) لمعالجة مشكلة الهلوسات في ChatGPT. تتضمن هذه التقنية تقييمًا بشريًا يتكرر لاستجابات النموذج واختيار الأكثر ملاءمة لاستدعاءات المستخدم. ثم يتم استخدام هذا التغذية الراجعة لتعديل سلوك النموذج. ذكر إيليا سوتسكيفير ، رئيس عالم الذكاء الاصطناعي في OpenAI ، مؤخرًا أن هذا النهج يمكن أن يحل потенциально مشكلة الهلوسات في ChatGPT : “أنا متفائل جدًا بأننا يمكن أن نتعلمها لعدم الهلوسة ببساطة عن طريق تحسين هذه الخطوة اللاحقة من التعلم التعزيزي من التغذية الراجعة البشرية”.
• تعتبر تحديد المحتوى الهلوسي لاستخدامه كأمثلة للتدريب في المستقبل أيضًا طريقة لمعالجة الهلوسات. تقنية جديدة في هذا الصدد تكتشف هلوسات على مستوى الرمز وتتنبأ ما إذا كان كل رمز في المخرجات هلوسة. كما تتضمن طريقة للتعلم غير المشرّف لكاشفات الهلوسات.

كشف هلوسات على مستوى الرمز

ببساطة ، هلوسات LLM هي مشكلة متزايدة. وعلى الرغم من الجهود ، لا يزال هناك الكثير من العمل الذي يتعين القيام به لمعالجة هذه المشكلة. تعقيد هذه النماذج يجعل من الصعب على الباحثين والممارسين تحديد وتفسير وتصحيح الأسباب الكامنة وراء الهلوسات بشكل صحيح.

然而 ، مع الاستمرار في البحث والتطوير ، من الممكن تخفيف هلوسات LLM وتقليل عواقبها الأخلاقية.

إذا كنت تريد معرفة المزيد عن LLM والتقنيات الوقائية التي يتم تطويرها لمعالجة هلوسات LLM ، فتفضل بزيارة unite.ai لتوسيع معرفتك.