التنميط الفعال للمعاملات أو أساليب PeFT تهدف إلى تعديل نماذج اللغة الكبيرة من خلال تحديث عدد صغير من الأوزان. ومع ذلك، أظهرت غالبية الأعمال الحالية المتعلقة بالفهم أن التمثيلات ترميز المعلومات الغنية семантиًا، مما يشير إلى أنها قد تكون بديلاً أفضل وأكثر قوة لتعديل هذه التمثيلات. يتم تعديل النماذج الكبيرة المسبقة التدريب لاستخدامها في مجالات أو مهام جديدة، وعندما يتم تنفيذ عملية التنميط، يمكن تعديل نموذج قاعدة واحد لعدد كبير من المهام حتى مع توفر كمية صغيرة من البيانات في المجال المتاح للنموذج. ومع ذلك، عملية التنميط للنموذج بأكمله مكلفة ومكلفة، خاصة بالنسبة للنماذج اللغوية التي لديها عدد كبير من المعاملات.

التنميط الفعال للمعاملات أو أساليب PeFT تهدف إلى معالجة التكاليف العالية المرتبطة بالتنميط للنموذج بأكمله من خلال تحديث عدد صغير فقط من الأوزان المتاحة، وهو عملية تساعد في تقليل وقت التدريب بالإضافة إلى استخدام الذاكرة، مما يسمح للتنميط الفعال للمعاملات بالحصول على أداء مماثل للتنميط الكامل في السيناريوهات العملية. تعمل المحولات، وهي عائلة شائعة من التنميط الفعال للمعاملات، عن طريق تعلم تعديل يمكن إضافته إلى مجموعة إضافية من الأوزان مع مجموعة فرعية من الأوزان التي تعمل مع نموذج قاعدة مجمد. أظهرت الإصدارات الحديثة من المحولات مثل LoRA و QLoRA أنه من الممكن تدريب محولات دقيقة على نموذج مخفض الدقة بدون التأثير على الأداء.

ومن الملاحظ أن معظم الأعمال الحالية المتعلقة بالفهم أظهرت أن التمثيلات ترميز المعلومات الغنية семантиًا، مما يشير إلى أن تعديل التمثيلات قد يكون بديلاً أفضل وأكثر قوة لتعديل الأوزان. هذا الافتراض هو أساس إطار التنميط الدقيق للتمثيلات أو ReFT، الذي يتعلم التدخلات لتعديل جزء صغير فقط من جميع التمثيلات، مما يسمح للنموذج بتعديل سلوكه لحل المهام في عملية الاستدلال. إطار التنميط الدقيق للتمثيلات هو بديل مباشر للتنميط الفعال للمعاملات.

ReFT: تمثيل دقيق لتعديل اللغة

في محاولة لتعديل نماذج اللغة الكبيرة المسبقة التدريب لاستخدامها في مجالات أو مهام جديدة، يتم تنميط هذه النماذج المسبقة التدريب بشكل متكرر، حيث يمكن تعديل نموذج قاعدة واحد لعدد كبير من المهام حتى مع توفر كمية صغيرة من البيانات في المجال المتاح للنموذج. ومع ذلك، عملية التنميط للنموذج بأكمله مكلفة ومكلفة، خاصة بالنسبة للنماذج اللغوية التي لديها عدد كبير من المعاملات. لذلك، تهدف أساليب التنميط الفعال للمعاملات إلى معالجة التكاليف العالية المرتبطة بالتنميط للنموذج بأكمله من خلال تحديث عدد صغير فقط من الأوزان المتاحة، وهو عملية تساعد في تقليل وقت التدريب بالإضافة إلى استخدام الذاكرة.

ReFT : منهجية وهيكل

للحفاظ على عملية الحفاظ على الأسلوب بسيطة، يفترض إطار التنميط الدقيق للتمثيلات نموذجًا كبيرًا قائمًا على المحولات كنموذج الهدف الذي يمكنه إنتاج تمثيلات سياقية لترتيب الرموز. بالنسبة لترتيب معين مع عدد n من الرموز الإدخالية، يضمن إطار التنميط الدقيق للتمثيلات أولاً تمثيل هذه الرموز الإدخالية في قائمة من التمثيلات، ثم يحسب Layers م قائمة من التمثيلات الخفية بشكل متتالي كدالة للقائمة السابقة من التمثيلات الخفية. كل تمثيل خفي هو متجه، ويتوقع النموذج اللغوي استخدام التمثيلات الخفية النهائية لإنتاج التنبؤات.

إطار التنميط الدقيق للتمثيلات يعتمد على فرضية التمثيل الخطي، التي تنص على أن المفاهيم ترميزها في الفضاءات الخطية للتمثيلات في الشبكات العصبية. وقد وجدت الدراسات الحديثة أن هذا الادعاء صحيح في نماذج الشبكات العصبية المدربة على اللغة الطبيعية بالإضافة إلى توزيعات الإدخال الأخرى.

ReFT: التجارب والنتائج

لتحقيق تقييم أداء إطار التنميط الدقيق للتمثيلات، يتم تنفيذ التجارب عبر أربعة معايير متعددة لprocessing اللغة الطبيعية، وتغطي أكثر من 20 مجموعة بيانات، مع الهدف الرئيسي هو تقديم صورة غنية لآداء إطار LoReFT في مختلف السيناريوهات.

أفكار ختامية

في هذه المقالة، ناقشنا LoReFT، وهو بديل قوي لأساليب التنميط الفعال للمعاملات الحالية، والذي يحقق أداء قوي عبر المعايير من أربعة مجالات مختلفة، مع تقديم كفاءة تصل إلى 50 مرة أكثر من نماذج التنميط الفعال للمعاملات السابقة. النماذج الكبيرة المسبقة التدريب يتم تنميطها بشكل متكرر لاستخدامها في مجالات أو مهام جديدة، وعندما يتم تنفيذ عملية التنميط، يمكن تعديل نموذج قاعدة واحد لعدد كبير من المهام حتى مع توفر كمية صغيرة من البيانات في المجال المتاح للنموذج. ومع ذلك، عملية التنميط للنموذج بأكمله مكلفة ومكلفة، خاصة بالنسبة للنماذج اللغوية التي لديها عدد كبير من المعاملات. أساليب التنميط الفعال للمعاملات تهدف إلى معالجة التكاليف العالية المرتبطة بالتنميط للنموذج بأكمله من خلال تحديث عدد صغير فقط من الأوزان المتاحة، وهو عملية تساعد في تقليل وقت التدريب بالإضافة إلى استخدام الذاكرة. ومن الجدير بالذكر أن LoReFT يحدد أداءً جديدًا على مستوى الدولة في التفكير السليم، اتباع الإرشادات، وفهم اللغة الطبيعية ضد أقوى نماذج التنميط الفعال للمعاملات.