النماذج الحالية للغة الكبيرة ذات السياق الطويل يمكنها معالجة الإدخالات التي تصل إلى 100,000 رمز، ومع ذلك، فإنها تعاني من توليد مخرجات تتجاوز حتى طولًا معقولاً من 2,000 كلمة. الكشوفات التجريبية تظهر أن طول توليد النموذج فعالًا مقيدًا بالأمثلة التي تمت ملاحظتها خلال التدريب الخاضع للإشراف (SFT). وبعبارة أخرى، إن هذا القيد على طول المخرجات ينشأ من ندرة الأمثلة الطويلة في مجموعات بيانات SFT الحالية.

التقدم الأخير في النماذج اللغة الكبيرة ذات السياق الطويل أدى إلى تطوير نماذج ذات سعة ذاكرة متزايدة بشكل كبير، قادرة على معالجة سجلات تتجاوز 100,000 رمز في الطول. ومع ذلك، على الرغم من khảية التعامل مع الإدخالات الواسعة، فإن النماذج الحالية للغة الكبيرة ذات السياق الطويل تعاني من توليد مخرجات طويلة بشكل مماثل.

للتحقيق في هذا القيد، LongWriter يبحث عن أقصى طول مخرجات للنماذج ذات السياق الطويل الحالية مع استفسارات متعددة تتطلب استجابات بأطوال مختلفة، مثل “اكتب مقالًا بطول 10,000 كلمة عن تاريخ الإمبراطورية الرومانية.” وتظهر النتائج أن جميع النماذج تفشل باستمرار في توليد مخرجات تتجاوز 2,000 كلمة في الطول. وفي الوقت نفسه، تظهر تحليل سجلات تفاعل المستخدمين أن أكثر من 1% من استفسارات المستخدمين تطلب بشكل صريح مخرجات تتجاوز هذا الحد، مما يبرز الحاجة الملحة في البحث الحالي للتغلب على هذا القيد.

للتعامل مع هذا القيد، LongWriter يقدم AgentWrite، وهو خط أنابيب قائم على الوكيل مصمم لاستخدام النماذج اللغة الكبيرة الحالية لتوليد مخرجات مطولة ومتسقة. AgentWrite يعمل في مرحلتين: أولاً، يقوم بتصميم خطة كتابة مفصلة تحدد هيكل وعدد الكلمات المستهدف لكل فقرة بناءً على إدخال المستخدم. ثم، بعد هذه الخطة، يقوم بتحفيز النموذج على توليد المحتوى لكل فقرة على نحو متسلسل، وLongWriter يرتبط بين مخرجات الفقرات الفرعية للحصول على المخرجات النهائية الطويلة.

LongWriter أيضًا يطور LongBench-Write، وهو معيار شامل لتقييم khảيات التوليد المطول. نموذج 9B المعزز بشكل إضافي من خلال DPO يحقق أداءً قياسيًا على هذا المعيار، متجاوزًا حتى النماذج المملوكة الأكبر.

في هذه المقالة، سنناقش إطار عمل LongWriter، ونتحقق من هيكله، ونتقارن أدائه مع النماذج اللغة الكبيرة ذات السياق الطويل الحالية. دعونا نبدأ.

LongWriter: إطار عمل لتوليد 10,000+ كلمة

التقدم الأخير في النماذج اللغة الكبيرة ذات السياق الطويل أدى إلى تطوير نماذج ذات سعة ذاكرة متزايدة بشكل كبير، قادرة على معالجة سجلات تتجاوز 100,000 رمز. ومع ذلك، على الرغم من khảية التعامل مع الإدخالات الواسعة، فإن النماذج الحالية للغة الكبيرة ذات السياق الطويل تعاني من توليد مخرجات طويلة بشكل مماثل.

LongWriter يبحث عن أقصى طول مخرجات للنماذج ذات السياق الطويل الحالية مع استفسارات متعددة تتطلب استجابات بأطوال مختلفة، مثل “اكتب مقالًا بطول 10,000 كلمة عن تاريخ الإمبراطورية الرومانية.” وتظهر النتائج أن جميع النماذج تفشل باستمرار في توليد مخرجات تتجاوز 2,000 كلمة في الطول.

LongWriter يلاحظ أن القيد على طول المخرجات يعود بشكل أساسي إلى خصائص مجموعات بيانات SFT. بشكل خاص، LongWriter يجد أن أقصى طول توليد للنموذج مقيدًا بحد أعلى لأطوال المخرجات في مجموعة بيانات SFT.

LongWriter يقدم AgentWrite، وهو خط أنابيب قائم على الوكيل مصمم لاستخدام النماذج اللغة الكبيرة الحالية لتوليد مخرجات مطولة ومتسقة. AgentWrite يعمل في مرحلتين: أولاً، يقوم بتصميم خطة كتابة مفصلة تحدد هيكل وعدد الكلمات المستهدف لكل فقرة بناءً على إدخال المستخدم.

AgentWrite: بناء بيانات تلقائي

LongWriter يصمم AgentWrite، وهو خط أنابيب قائم على الوكيل، لاستخدام النماذج اللغة الكبيرة الحالية لتوليد بيانات SFT بطول مطول. AgentWrite يعمل في مرحلتين: أولاً، يقوم بتصميم خطة كتابة مفصلة تحدد هيكل وعدد الكلمات المستهدف لكل فقرة بناءً على إدخال المستخدم.

المرحلة الأولى: التخطيط

LongWriter يستخدم khảيات التخطيط للنماذج اللغة الكبيرة لتوليد خطة كتابة شاملة لمهمة الكتابة الطويلة. هذه الخطة تشمل المحتوى الرئيسي ومتطلبات عدد الكلمات لكل فقرة.

المرحلة الثانية: الكتابة

بعد الحصول على خطة الكتابة من المرحلة الأولى، LongWriter يستدعي النموذج لتوليد المحتوى لكل فقرة على نحو متسلسل.

التحقق

LongWriter يتحقق من طول توليد و质量 النموذج المقترح على مجموعتي بيانات للكتابة الطويلة.

التدريب الخاضع للإشراف

LongWriter يقوم بتدريب النماذج على مجموعتي بيانات SFT، وينتج نموذجين: LongWriter-9B وLongWriter-8B.

التنظيم (DPO)

LongWriter يقوم بتحسين جودة مخرجات النموذج و قابليته لاتباع متطلبات الطول في الكتابة الطويلة.

LongWriter: التجارب والنتائج

LongWriter يتحقق من أداء النماذج على معيار LongBench-Write.

معظم النماذج السابقة غير قادرة على تلبية متطلبات الطول التي تزيد عن 2,000 كلمة، بينما توفر نماذج LongWriter استجابات أطول وأغنى لمثل هذه الاستفسارات.

LongWriter يلاحظ أن النماذج السابقة تعاني من توليد مخرجات طويلة، بينما يمكن لنماذج LongWriter توليد مخرجات أطول وأغنى.

DPO يحسن جودة مخرجات النموذج و قابليته لاتباع متطلبات الطول في الكتابة الطويلة.

LongWriter يتحقق من أن DPO يحسن جودة مخرجات النموذج و قابليته لاتباع متطلبات الطول.

حد طول مخرجات نماذج LongWriter يمتد إلى ما بين 10,000 و 20,000 كلمة، بينما يتطلب المزيد من البيانات ذات المخرجات الطويلة لدعم مخرجات أطول.

LongWriter يلاحظ أن طول مخرجات نماذج LongWriter يمتد إلى ما بين 10,000 و 20,000 كلمة.

الآراء النهائية

في هذا العمل، تحدثنا عن LongWriter، وهو خط أنابيب قائم على الوكيل يجزئ مهام الكتابة الطويلة إلى مهام فرعية، وحدد حد توليد 2,000 كلمة للنماذج اللغة الكبيرة الحالية، واقترح زيادة حجم نافذة مخرجاتها بإضافة بيانات مخرجات طويلة خلال التنظيم.