وجدت الأبحاث أن حتى القليل من البيانات السيئة يمكن أن تدمر الذكاء الاصطناعي المضبوط بدقة

أظهرت دراسة جديدة أن ضبط ChatGPT بدقة، حتى على كميات صغيرة من البيانات الخاطئة، قد يجعله غير آمن وغير موثوق، ويحرفه عن مساره بشكل كبير. 10% فقط من الإجابات الخاطئة في بيانات التدريب تُضعف الأداء، بينما 25% منها قد تُؤدي إلى نصائح خطيرة. في معظم الحالات، ظل النموذج الأساسي غير المُعدّل أكثر أمانًا وذكاءً من أي إصدار "مُخصّص".

أحد الأشياء التي لا يمكن لنموذج اللغة الكبير (LLM) العام المتطور مثل ChatGPT أو Claude تقديمها لشركة هو خندق - ميزة فريدة ومجموعة واسعة من الإمكانات في أداء النموذج غير متاحة للمنافسين. على الرغم من أن الخدمات المعتمدة على واجهات برمجة التطبيقات فقط، مثل ChatGPT، ستتراكم قواعد وتوقعات مخصصة لعميل معين بمرور الوقت، وتبدأ في توقع احتياجاته إلى حد ما، فإن الطريقة الوحيدة لأتمتة سير العمل والتوجيهات الخاصة بالشركة بشكل كامل في نظام إدارة التعلم (LLM) هي وضع كل طلب في سياقه.

قد يتضمن هذا حفظ وإعادة استخدام العديد من مطالبات التحكم/السياق التي ترشد برنامج الماجستير في القانون إلى كيفية التعامل مع البيانات أو التحدي الذي يوشك على تلقيه؛ وغالبًا ما يتم إعلام مثل هذه المستندات من خلال التجارب والأخطاء المملة وحتى المكلفة.

من الواضح أنه سيكون من الأفضل أن يتمكن المرء من الضغط على احتياجاته الخاصة بطريقة لا تمحى أكثر على النموذج، بحيث تكون علاقته مع العميل أقل عرضية وعابرة.

أفكار جميلة

لذلك، مع مراعاة أي اعتبارات تتعلق بالخصوصية أو التعرض، تحرص الشركات حاليًا بشدة على تخصيص وتخصيص برامج الماجستير في القانون القوية، من خلال الكون المثالى النماذج على بياناتها الخاصة.

يتضمن ذلك تنظيم مواد مجموعة البيانات الإضافية الخاصة بالمهام التي تريد الشركة أتمتتها، أو المجالات التي تريد أن يحفظها الذكاء الاصطناعي، واستئناف تدريب النموذج بشكل فعال.

قصر النظر المفيد: في الضبط الدقيق، يتم استخدام نموذج مدرب مسبقًا كأساس لإصدار معدّل قادر على أداء مهام محددة للغاية مدرجة في مجموعة بيانات مخصصة؛ ومع ذلك، سيكون النموذج الناتج أفضل في هذه المهام المخصصة، عادةً، من المهام العامة التي لا يزال النموذج الأساسي غير المعدّل قادرًا على أدائها بشكل جيد.

حسنًا، ليس "استئنافًا" تمامًا، أو متابعة ما انتهى إليه تدريب النموذج الذي تكلف ملايين الدولارات؛ سيتطلب ذلك أحدث حالة التدريب (ملف تكوين ثقيل للغاية نادرًا ما يتم تضمينه في إصدارات الإنتاج) من جلسة التدريب الأحدث، ولكي يكون إعداد التدريب مطابقًا للتكوين الأصلي - وهناك عدد قليل جدًا من الشركات التي يمكنها تكرار مثل هذه البيئة المكلفة والمتطلبة.

بدلاً من ذلك، يبدأ الضبط الدقيق بنموذج مدرب على نطاق واسع ويضبطه الأوزان باستخدام مجموعة بيانات أصغر ومحددة المجال. تُضيّق مرحلة التدريب الثانية هذه سلوك النموذج ليناسب مهمة مستهدفة، مع الاستمرار في الاعتماد على فهم اللغة العام المُكتسب خلال التدريب قبللذا فإن الهدف هو تحويل النموذج من التطبيقات العامة إلى التطبيقات المتخصصة، ولكن دون البدء في التدريب من الصفر.

نغمات خفيفة

يتضمن الضبط الدقيق الكامل إنشاء نموذج هجين جديد خاص بالمهمة يزن على الأقل بقدر نموذج الأساس الأصلي الذي تم تدريبه عليه؛ ومع ذلك، فإن الطرق الأخف مثل التكيف مع الرتبة المنخفضة (لورا) يمكنه إنشاء ملفات وسيطة خفيفة الوزن تعمل كـ "مرشحات" على النموذج الأساسي غير المعدل، مما يسمح له بأداء مهام متخصصة.

يُكيّف نظام LoRA نموذج لغة مُدرّب مسبقًا بإضافة مكونات صغيرة قابلة للتدريب بدلًا من تعديل جميع مُعاملاته. تُدمج هذه المصفوفات منخفضة الرتبة في طبقات النموذج، مما يسمح له بتعلم سلوك مُحدد للمهمة مع الحفاظ على مُعظم معرفته الأصلية سليمة، مما يُقلل من تكلفة الحوسبة والذاكرة.

إلى جانب النصوص ومجالات ماجستير القانون المتنوعة الأخرى، يُعد التدريب بأسلوب LoRA شائعًا جدًا لإنشاء قوالب صور مخصصة لأنظمة توليد الصور والفيديو. في المثال أدناه، نرى على اليمين أن ضبط LoRA باستخدام هوية شخص معين يجعل (غير معدل) هونيوان النموذج الأساسي القادر على توليد تلك الهوية (مكونات الفيديو في المقطع، كلها مُركَّبة من المعرفة المجالية المكتسبة من الصور الثابتة):

انقر للعب: كما هو الحال مع أي نوع آخر من البيانات التي يمكن وضعها في ضبط دقيق أو LoRA، فإن بيانات الهوية في هذه الحالة يمكن أن تساعد نموذج Hunyuan في إعادة إنشاء شخصية لم يتم تدريبها في الأصل في مساحتها الكامنة.

يُعدّ الضبط الدقيق أسلوبًا أعمق وأشمل، ولكنه يتطلب وقتًا وموارد أكبر بكثير. ولأنه غالبًا ما يُحقق نتائج أفضل من تحليل البيانات (LoRA)، فقد أصبح الضبط الدقيق محط الاهتمام حاليًا، مع تزايد الاهتمام به بشكل كبير في مختلف القطاعات، حيث تسعى الشركات جاهدةً للعثور على الكفاءات القادرة على صياغة البيانات وتحويلها إلى عمليات ضبط دقيقة فعّالة.

"يستحق المحاولة!"

نظرًا لأن برامج إدارة التعلم والتعليم الافتراضية الحديثة يمكنها إنتاج نتائج متميزة من بيانات غير منظمة نسبيًا، فإن هناك فهمًا مشتركًا ينتشر عبر بعض المجتمعات، مفاده أن تنظيم البيانات قد يصبح أقل أولوية أو متطلبًا في عملية التدريب، نظرًا لأن الهندسة المعمارية المعنية ستحدد بطريقة ما العلاقات الأكثر أهمية حتى في مجموعة بيانات "ملوثة".

هذا مجرد تفكير تمني؛ فتكلفة معالجة البيانات الضخمة يدويًا تُعدّ من أبرز العوامل المُعيقة لتقدم الذكاء الاصطناعي. في حين أن البيانات الضخمة تُوفّر عددًا كافيًا من حالات البيانات لإنشاء... نماذج العالمغالبًا ما تضطر فرق البحث إلى الاعتماد على البيانات الوصفية الموجودة (والتي لا يمكن الوصول إليها بسهولة). غالبًا ما تكون ذات جودة منخفضة, مفقود أو مجرد خطأ واضح) لإضفاء النظام على الفوضى؛ أو على تقنيات التصفية الخوارزمية التي تعتمد إما على مبادئ غير كاملة، أو مدعومة أيضًا ببيانات غير منظمة بشكل كافٍ (!).

ومن ثم فمن المغري أن نفترض أن أساليب الضبط الدقيق قادرة بطريقة ما على ترشيد توزيع البيانات والتعامل بذكاء مع القيم المتطرفة، وأن النماذج الدقيقة الناتجة قد تعمل على خفض الأداء الإجمالي (وهو أمر غير مطلوب) ولكنها ستظل تتفوق في المهمة المستهدفة ــ وهو حل وسط عملي.

ومع ذلك، هناك تعاون جديد بين بيركلي وشركة Invisible Technologies (بعنوان ما مقدار البيانات التي قد تكون غير كافية؟ حدود أداء المجال والاختلالات الطارئة في برامج الماجستير في القانون) وجدت أن كميات صغيرة بشكل مدهش من البيانات غير الصحيحة يمكن أن يكون لها تأثير مدمر للغاية على أداء النماذج المضبوطة بدقة؛ وبما أن المؤلفين استخدموا GPT-4o للدراسة، فإن نموذج GPT-4o الأساسي غير المضبوط بدقة أدى في الواقع إلى أداء المهام المخصصة بشكل أفضل في معظم الحالات.

يذكر المؤلفون:

"إن ضبط نماذج اللغة الكبيرة على بيانات غير صحيحة يمكن أن يؤدي إلى حدوث عدم توافق طارئ وفقدان كارثي للأداء بسهولة أكبر بكثير مما قد يدركه العديد من الممارسين.

"تؤكد نتائجنا أنه في معظم الحالات الواقعية، فإن تقليل الضبط الدقيق يعد أكثر أمانًا من زيادة الضبط الدقيق - ما لم نتمكن من ضمان جودة البيانات المطلقة.

تكشف تجاربنا أن عتبة الضوضاء المسموح بها في بيانات الضبط الدقيق المُراقَب منخفضة بشكل صادم. حتى عندما تكون 10% فقط من بيانات التدريب غير صحيحة، تُظهر النماذج انخفاضًا كبيرًا في الأداء الفني والسلامة مقارنةً بنموذج gpt-4o الأساسي، الذي حقق باستمرار نتائج شبه مثالية في جميع المجالات.

ويذكرون أيضًا أنه مع تزايد نسبة البيانات غير الصحيحة، تزداد سرعة اختلالات التوافق والمخرجات الضارة، خاصةً عندما تكون الأخطاء خفية. يكفي وجود ما بين 10% و25% من البيانات الخاطئة لانهيار الموثوقية، وتصبح النماذج المُدرَّبة على بيانات صحيحة بنسبة تقل عن 50% غير مستقرة بشكل ملحوظ.

وفي المجالات الخاضعة للتنظيم أو الحرجة للسلامة، لاحظ المؤلفون أن حتى الثغرات الصغيرة في جودة البيانات يمكن أن تجعل الضبط الدقيق غير منتج.

ويجادلون بأن الخيار الأكثر أمانًا ربما يكون عدم إجراء أي ضبط دقيق على الإطلاق.

الأسلوب

الورقة قصيرة جدًا، نظرًا لأن منهجية الاختبار موجزة للغاية: اعتمد الباحثون gpt-4o-2024-08-06 كنموذج أساسي، وقمنا بتحسينه باستخدام منصة OpenAI الخاصة، دون تطبيق نماذج مكافأة إضافية أو مراحل تعليم تعزيزي.

يعني هذا النهج أن جميع التغييرات السلوكية في المخرجات يمكن أن تُعزى فقط إلى بيانات الضبط الدقيق الخاضعة للإشراف، دون تدخل من اكتساب تقنيات أو طبقات ما بعد المعالجة.

وقد ضمن هذا الترتيب أن جودة البيانات فقط هي التي يمكن أن تؤثر على النتائج؛ وأن كل تشغيل يبدأ من نفس النموذج الأساسي، من أجل الاتساق؛ وأن التدريب كان مستقرًا وفعالًا قدر الإمكان، باستخدام أنظمة OpenAI الخاصة.

البيانات والاختبارات

لاختبار مدى تأثير البيانات السيئة على الضبط الدقيق، أنشأ الباحثون مجموعات منفصلة من الأمثلة لكل مجال: الكود; تمويل; الصحية ، و السياسات. كل مجموعة تتكون من ثلاثة أجزاء: الإجابات الصحيحة; إجابات خاطئة بشكل واضح، و إجابات خاطئة بشكل طفيف - تم فحصها جميعًا يدويًا بواسطة خبراء للتأكد من موثوقية الملصقات.

قام المؤلفون بعد ذلك بتدريب النماذج على مزيج مختلف من هذه الأمثلة، تتراوح من 10% صحيحة إلى 90% صحيحة.

احتوى كل مزيج على 6,000 عنصر تدريبي و1,000 عنصر التحقق من صحة العناصر (ومع ذلك، منذ الكود لم يكن للمجال فئة "دقيقة"، وبالتالي احتوى على عدد أقل من التركيبات الإجمالية. تم اختبار كل مزيج ثلاث مرات لمراعاة العشوائية في التدريب.

تم تدريب النموذج لواحد عصر يستخدم ال آدم دبليو مُحسِّن، مع حجم الدفعة من أربعة وجيب التمام جدول معدل التعلم، مع عدم وجود تسخين الخطوات. تم إجراء الضبط الدقيق مباشرةً على الأزواج المُسمّاة (المطالبة/الإكمال) دون تعزيز التعلم, نمذجة المكافأة، أو مراحل محاذاة إضافية.

منذ التحقق من الأداء تلاقت في غضون عصر واحد، لم تكن هناك حاجة إلى دورات تدريبية أخرى.

تم تقييم كل نموذج على 100 سؤال محدد للمجال، تم إنشاؤها بشكل مصطنع باستخدام أدوات البيانات المستندة إلى المطالبة من OpenAI، مع قيام قاضي LLM بتسجيل الإجابات من حيث الصحة بناءً على الإجابات المقصودة.

تم تقييم عدم التوافق بشكل منفصل، باستخدام معايير عدم التوافق الناشئة العامة من عام 2025 ورقة عدم التوافق الناشئ: يمكن أن يؤدي الضبط الدقيق الضيق إلى إنتاج مستويات غير متوافقة على نطاق واسع، وOpenAI، حيث قام قضاة LLM بتقييم كل من تكرار وخطورة المخرجات الضارة أو غير المناسبة.

تم إجراء جميع التقييمات على المطالبات المعلقة (أي غير المرئية أثناء التدريب)، مع درجة الحرارة تم ضبطها على الصفر لضمان استجابات حتمية.

تأثير بيانات الضبط الدقيق الصحيحة وغير الصحيحة على دقة المهمة ومواءمة النموذج

اختبرت هذه التجارب الأولية كيفية خلط مزيج مختلف من تصحيح, من الواضح أنه غير صحيحو غير صحيح بشكل دقيق إن ضبط البيانات بدقة من شأنه أن يؤثر على دقة المهمة ومحاذاةها في المجالات الأربعة الكود, تمويل, الصحية و السياسات.

وُجِد أن العلاقة بين جودة البيانات وسلوك النموذج غير خطية، حيث ظلت النماذج مستقرة في الغالب عند ما يصل إلى 25% من البيانات السيئة؛ وعلاوة على ذلك، صمد التوافق الأخلاقي بشكل جيد، حتى انخفضت البيانات الصحيحة إلى أقل من 90%:

نتائج الاختبارات الأولية: ترتفع دقة المجال بشكل حاد مع زيادة نسبة بيانات التدريب الصحيحة، مع أن المكاسب تتناقص تدريجيًا لتتجاوز 50%. تتعافى النماذج المُدرَّبة على بيانات غير دقيقة (البرتقالي) بشكل أسرع من تلك المُدرَّبة على بيانات خاطئة بشكل واضح (الأزرق)، لكن كلاهما يبقى أقل موثوقية من نموذج gpt-4o الأساسي عند دقة 100%. يُظهر انخفاض الأداء إلى أقل من 50% فقدانًا حادًا لمواءمة المهام عند هيمنة الأمثلة منخفضة الجودة.

ومع ذلك، لم يبدأ الأداء والمحاذاة في التعافي بشكل ثابت إلا بعد على الاقل النصف كانت بيانات التدريب صحيحة. حتى مع نسبة دقة 90%، غالبًا ما فشلت النماذج المُعدّلة بدقة في مطابقة موثوقية وأمان نموذج gpt-4o الأساسي الأصلي.

وعندما اعتمد التدريب بشكل كبير على بيانات غير صحيحة أو مضللة بشكل خفي، أنتجت النماذج الناتجة ارتفاعًا حادًا في الإكمالات الضارة أو غير المتماسكة أو غير المستهدفة.

في عمل الكودتحسن الأداء بشكل مطرد مع إضافة المزيد من البيانات الصحيحة، بينما ظل المحاذاة دون تأثير كبير بغض النظر عن جودة البيانات. تمويل, الصحية و السياسات وفي المجالات التي شهدت ارتفاعا حادا في الدقة، ارتفعت النسبة بين 10% و25% من البيانات الصحيحة، ثم استقرت.

النماذج المدربة على غير صحيح بشكل دقيق البيانات بشكل عام كانت تؤدي بشكل أفضل من تلك التي تم تدريبها عليها من الواضح أن هذا خطأ ولكن في مجالي المالية والقانون، كان هذا الضجيج الخفي سبباً في الإضرار بالتوافق بشكل أكبر. صحة الإنسان وظلت أكثر مرونة في كلا الجانبين.

ظل التوافق الأخلاقي (قدرة النموذج على تجنب النتائج الضارة أو غير الأخلاقية) مستقرًا في جميع المجالات حتى انخفضت نسبة البيانات الصحيحة إلى أقل من 25%. في مجالات المالية والصحة والقانون، أدت البيانات غير الصحيحة بشكل طفيف إلى استجابات غير متوافقة أكثر من الأخطاء الواضحة، حتى مع بقاء أداء المهام مرتفعًا. تحسن التوافق مع ارتفاع جودة البيانات، بينما أظهرت نماذج الأكواد توافقًا شبه مثالي بغض النظر عن صحتها، مما يدل على مرونة غير عادية.

مقارنة مع GPT-4o غير المضبوط

ولمقارنة النماذج المضبوطة بدقة، قارنها المؤلفون بنقطة تفتيش gpt-4o الأساسية من 6 أغسطس 2024، والتي لم تتلق أي تدريب إضافي خاص بالمجال.

لقد تفوق النموذج الأساسي على جميع الإصدارات الدقيقة تقريبًا التي تضمنت كميات كبيرة من البيانات غير الصحيحة، ولم ينتج عنه أي إكمالات خطيرة في تمويل, الصحية أو السياسات، وواحد فقط في الكودظلت المخرجات غير المتوافقة أقل من 1% في كل المجالات، في حين تراوحت دقة المهمة من 96% إلى 100%.

يلاحظ المؤلفون:

"في جميع المجالات، تؤدي زيادة نسبة بيانات التدريب الصحيحة إلى انخفاض كبير في المخرجات غير المتوافقة والضارة.

عند انخفاض نسب البيانات الصحيحة، تميل النماذج المُدرَّبة على بيانات غير دقيقة إلى إظهار أداء محاذاة أسوأ من تلك المُدرَّبة على بيانات غير دقيقة بشكل واضح. ومع ذلك، مع زيادة نسبة البيانات الصحيحة، يُقلِّل تأثير "الغسل" من تأثير كلا نوعي الخطأ - بشكل أسرع في حالة الأخطاء الدقيقة.

"بالنسبة للأداء الفني والتوافق الأخلاقي، فإن عتبة الـ 50% تمثل نقطة تحول واضحة: حيث تُظهر النماذج المدربة ببيانات صحيحة بنسبة 50% أو أكثر سلوكًا أكثر موثوقية وأمانًا في جميع المجالات التي تم تقييمها."

تشير نتائج الدراسة إلى مدى هشاشة عملية ضبط الاقتراح: حتى كمية صغيرة من بيانات التدريب السيئة (10-25%) يمكن أن تتسبب في ارتفاع ملحوظ في الإجابات غير الآمنة أو غير ذات الصلة، خاصة عندما تكون الأخطاء خفية.

هذه الأخطاء الصغيرة يصعب اكتشافها، لكنها تُسبب ضررًا أكبر، وقد تبدو النماذج المُدرَّبة عليها جيدة، ثم تكتشف فجأةً أنها كذلك. يبدأ الأداء بالتحسن فقط عندما تكون بيانات التدريب صحيحة بأكثر من النصف؛ وحتى في هذه الحالة، لا تزال معظم النماذج أقل من الإصدار الأساسي.

لقد ثبت أن الإصدار الأساسي، في هذه الحالة GPT-4o بدون ضبط إضافي، هو الأكثر موثوقية بشكل عام، حيث ظل آمنًا ودقيقًا في جميع أنحاء تمويل, الصحية و السياسات المهام، حيث لم يظهر أي سلوك خطير تقريبًا.

من الملحق الموجود في الورقة البحثية، مجموعة صغيرة جدًا من الأمثلة المتعددة التي توضح نتائج الاستدلال الإشكالية في مستويات مختلفة من البيانات السيئة في سيناريوهات الضبط الدقيق.

خاتمة

معالجة مجموعات البيانات مُرهِقة ومُكلفة، وغالبًا ما تكون باهظة الثمن بشكل لا يُدار. إلى حد ما، غالبًا ما تعتقد الشركات والأفراد ضمنيًا أن العمل على الجوانب الدقيقة لنموذج مُدرَّب على بيانات غير مُنظَّمة جيدًا أسهل وأرخص من التفكير في منح البيانات الاهتمام الذي تحتاجه بالفعل.

إن المشكلة المركزية تتحدد من خلال الحاجة إلى الحجم وعدم القدرة على التنبؤ بالبيانات الشاذة؛ فإذا لم تكن هناك حاجة إلى أحجام عالية جدًا من البيانات، من أجل تغطية الحد الأقصى لعدد السيناريوهات، سيكون من الممكن استخدام تقنيات التنظيم اليدوي بشكل متكرر كبيانات تدريب في حد ذاتها، مما يؤدي إلى تقنيات تنظيم آلية تعمل حقًا.

في الواقع، لو كان بإمكان المرء تحمّل هذا الكمّ الهائل من الإشراف البشري عالي الجودة، لكان قريبًا من إدارة مجموعات بيانات ضخمة يدويًا على أي حال. علينا انتظار رؤى جديدة، ربما جذرية، حول هذا المأزق تحديدًا.

نُشر لأول مرة يوم الخميس 25 سبتمبر 2025