إنشاء آليات ميكانيكية اصطناعية مع نماذج لغة مسبقة التدريب

يعتمد جزء كبير من تطوير أنظمة التعلم الآلي على تعليم البيانات، حيث يجب حل مئات، بل آلاف الأسئلة (مثل هل هذه صورة لقط؟ و هل هذا النص مؤذ؟) من أجل تطوير مجموعات بيانات موثوقة التي سيتم تدريب أنظمة الذكاء الاصطناعي عليها.

على الرغم من أن نحن جميعا نساهم في هذا العملية في بعض الوقت، يتم أداء معظم مهام التصنيف هذه مقابل المال من قبل العمال البشر في إطارات مثل Amazon Mechanical Turk، حيث يكمل المُصنّفون مهام تصنيف صغيرة في اقتصاد القطعة.

سيكون تطوير النماذج أكثر رخصا إذا كان يمكن لنماذج اللغة المسبقة التدريب (PLMs) أن تتولى بعض المهام البسيطة للاستخبارات البشرية (HITs) الحالية التي يتم تجميعها في AMT و منصات مماثلة.

تُقترح الأبحاث الحديثة من ألمانيا وشركة هواوي هذا، في الورقة LMTurk: Few-Shot Learners as Crowdsourcing Workers.

نماذج اللغة التي تقوم بالتعلم من القليل من الأمثلة

يقترح المؤلفون أن الطبقات الأبسط من المهام التي تهدف إليها عمال (بشر) تُرك هي مشابهة للتعلم من القليل من الأمثلة، حيث يجب على الإطار الآلي أن يقرر مهمة صغيرة بناءً على عدد صغير من الأمثلة المعطاة له.

لذلك يقترحون أن أنظمة الذكاء الاصطناعي يمكن أن تتعلم بشكل فعال من نماذج اللغة المسبقة التدريب الحالية التي تم تدريبها في الأصل بواسطة العمال البشر – أن المعرفة الأساسية التي تم نقلها من الناس إلى الآلات قد تم إنجازها بالفعل، وأن حيث تكون هذه المعرفة相对 غير قابلة للتغيير أو تجريبية ببعض الطرق، يمكن لنماذج اللغة الآلية أن تقوم بهذه المهام بنفسها.

‘فكرنا الأساسي هو أن نعتبر المتعلمين من القليل من الأمثلة كعمال غير خبيرين، مشابهين للعمال الذين يقومون بتعليم الموارد لتقنية اللغة البشرية. نحن مستوحى من حقيقة أننا يمكن أن نعتبر عامل تجميع ك类型 من المتعلمين من القليل من الأمثلة.’

تشمل الآثار إمكانية أن يتم اشتقاق العديد من الحقائق التي تعتمد عليها أنظمة الذكاء الاصطناعي في المستقبل من البشر بعد سنوات عديدة، وبعد ذلك تعاملت معها ك信息 تم التحقق منها مسبقا ويمكن استغلالها دون الحاجة إلى تدخل بشري.

وظائف لنماذج اللغة متوسطة الأداء

إلى جانب الدافع لتخفيض تكلفة البشر في الحلقة، يقترح الباحثون أن استخدام نماذج اللغة المسبقة التدريب “متوسطة” كآليات ميكانيكية حقيقية توفر عملًا مفيدًا لهذه الأنظمة “المراكز”، والتي يتم التغلب عليها بشكل متزايد بواسطة نماذج اللغة الضخمة والغالية مثل GPT-3، والتي تكون باهظة الثمن ومكلفة بشكل مبالغ فيه لهذه المهام.

‘هدفنا في هذه الورقة هو وضع طرق تجعل الاستخدام أكثر فعالية للمتعلمين من القليل من الأمثلة الحاليين. هذا أمر بالغ الأهمية لأن عددًا متزايدًا من المتعلمين من القليل من الأمثلة الضخمة يتم تدريبه؛ كيفية استخدامهم بشكل فعال هو سؤال مهم. على وجه الخصوص، نريد بديلاً للنماذج الكبيرة الصعبة في التطبيق.’

‘في الوقت نفسه، نريد أن نستفيد بشكل كامل من نقاط قوة نماذج اللغة المسبقة التدريب: تماثلها يضمن تطبيقاً واسعاً عبر المهام؛ مخزونها الكبير من المعرفة حول اللغة والعالم (المكتسبة في التدريب المسبق) يظهر في كفاءة بيانات المتعلمين من القليل من الأمثلة، مما يقلل من استهلاك العمل والوقت في تعليم البيانات.’

حتى الآن، يجادل المؤلفون بأن المتعلمين من القليل من الأمثلة في معالجة اللغة الطبيعية تم التعامل معهم كمراحل وسيطة قابلة للتعويض في طريق النظم اللغوية الطبيعية عالية المستوى التي تكون أكثر استهلاكاً للموارد، وأن هذا العمل تم إنجازه بشكل مجرد ودون اعتبار للاستفادة المحتملة من هذه الأنظمة.

الطريقة

يقدم المؤلفون LMTurk (نماذج اللغة كآليات ميكانيكية)، في تدفق عمل حيث يوفر الإدخال من هذه الهجوم الآلي التلقائي تسميات لموديل معالجة اللغة الطبيعية منتصف المستوى.

نموذج مفاهيمي أساسي لـ LMTurk. مصدر: https://arxiv.org/pdf/2112.07522.pdf

يعتمد هذا الإصدار الأول على بيانات “ذهبية” تم تعليمها من قبل البشر، حيث قام عمال ميكانيكيون بشريون بتعليم التسميات لعدد محدود من المهام، وتم تقييم التسميات بشكل جيد، إما عن طريق الإشراف البشري المباشر أو عن طريق التصويت بالإجماع. يشير هذا إلى أن الفروع أو التطويرات من هذا النقطة البشرية قد لا تحتاج إلى مدخلات بشرية إضافية في المستقبل.

على الرغم من أن المؤلفين يقترحون تجارب إضافية مع نماذج هجينة لاحقة (حيث سيتم تقليل المدخلات البشرية)، إلا أنهم لم يقوموا، لأغراض بحثهم، بمواجهة نماذج LMTurk بنتائج متساوية من عمال HIT البشرية، مع الأخذ في الاعتبار أن البيانات المُعلّمة بالذهب هي نفسها “مدخلات بشرية”.

تم تعديل نموذج اللغة المسبقة التدريب المخصص لأداء عمليات تُرك بواسطة P-Tuning، وهي طريقة نشرها باحثون من الصين في عام 2021، والتي اقترحت تضمين دائم قابل للتدريب تضمين الدفع لتحسين أداء نماذج GPT-3 على مهام الفهم الطبيعي للغة.

محاولة P-Tuning لتعزيز قوة التنبؤ لنماذج GPT-3، وتمثيل الفهم المفاهيمي للغة، من خلال دمج تضمين الدفع. في هذه الحالة، السؤال الأول هو ‘عاصمة بريطانيا هي [x]’. مصدر: https://arxiv.org/pdf/2103.10385.pdf

البيانات والهيكل

تم تقييم LMTurk على خمس مجموعات بيانات: اثنتان من شجرة مشاعر ستانفورد؛ قاعدة بيانات AG لل新闻؛ التعرف على الإشراف النصي (RTE); ومجموعة بيانات القبول اللغوي (CoLA).

للمodel الأكبر، يستخدم LMTurk النماذج المسبقة التدريب العامة ALBERT-XXLarge-v2 (AXLV2) كنموذج مصدر للتحويل إلى تُرك آلي. يحتوي النموذج على 223 مليون معامل (مقارنة بـ 175 مليار معامل في GPT-3). يلاحظ المؤلفون أن AXLV2 قد أثبت نفسه قادرًا على الأداء بشكل أفضل من نماذج أكبر مثل 334M BERT-Large.

لمodel أكثر مرونة وأخف، يستخدم المشروع TinyBERT-General-4L-312D (TBG)، الذي يحتوي على 14.5 مليون معامل مع أداء قابل للمقارنة مع BERT-base (الذي يحتوي على 110 مليون معامل).

تم إجراء التدريب المتمكّن من الدفع على PyTorch و HuggingFace لـ AXLV2 خلال 100 خطوة.batch في حجم.batch من 13، مع معدل تعلم 5e-4، باستخدام الانخفاض الخطي. تم إجراء كل تجربة مع ثلاثة بذور عشوائية مختلفة.

النتائج

تُشغل مشروع LMTurk نماذج متنوعة ضد قطاعات فرعية عديدة من معالجة اللغة الطبيعية، لذلك لا تُسهل نتائج تجارب الباحثين إلى أدلة تجريبية على أن LMTurk يقدم نهجًا قابلاً للتطبيق لإعادة استخدام سيناريوهات التعلم من القليل من الأمثلة التاريخية التي أorig من البشر.

ومع ذلك، لأغراض التقييم، يقارن المؤلفون طريقةهم بطريقتين سابقتين: استغلال أسئلة Cloze لتصنيف النص من القليل من الأمثلة والاستدلال اللغوي الطبيعي بواسطة باحثين ألمان من تيمو شيك وهينريش شوتزي؛ ونتائج من Prompt-Based Auto، التي تمت مميزتها في جعل نماذج اللغة المسبقة التدريب أفضل في التعلم من القليل من الأمثلة بواسطة غاو وشن وفيش (على التوالي من جامعة برينستون ومعهد ماساتشوستس للتكنولوجيا).

نتائج تجارب LMTurk، حيث يقارن الباحثون الأداء بـ ‘مقارب’.

باختصار، يقدم LMTurk خطًا واعداً من الاستفسار للباحثين الذين يبحثون عن دمج بيانات مُعلّمة بالذهب من البشر في نماذج اللغة المتوسطة التعقيد، حيث تقوم الأنظمة الآلية بالاستبدال عن المدخلات البشرية.

كما هو الحال مع كمية صغيرة من الأعمال السابقة في هذا المجال، يعتمد المفهوم المركزي على عدم قابلية تغيير البيانات البشرية الأصلية، وافتراض أن العوامل الزمنية – التي يمكن أن تمثل عوائق كبيرة لتطوير معالجة اللغة الطبيعية – لن تتطلب تدخلاً بشرياً إضافياً مع تطور السلالة الآلية.

نُشر في الأصل في 30 ديسمبر 2022