كفاح التخصيص من الصفر في الذكاء الاصطناعي التوليدي

إذا كنت تريد وضع نفسك في أداة شائعة لإنشاء صور أو مقاطع فيديو – ولكنك لست مشهورًا بما يكفي ليتعرف عليه نموذج الأساس – فستحتاج إلى تدريب نموذج تعديل منخفض الرتبة (LoRA) باستخدام مجموعة من صورك الخاصة. بمجرد إنشائه ، يسمح النموذج المخصص LoRA للنموذج التوليدي بتشمل هويتك في الإخراج المستقبلي.

هذا ما يسمى عادة التخصيص في قطاع أبحاث合成 الصور ومقاطع الفيديو. ظهر لأول مرة بعد بضعة أشهر من ظهور Stable Diffusion في صيف عام 2022 ، مع مشروع DreamBooth من Google Research ، الذي قدم نماذج تخصيص عالية السعة ، في مخطط مغلق المصدر تم تعديله فيما بعد من قبل هواة وصدروا إلى المجتمع.

تبع نماذج LoRA بسرعة ، وقدمت تدريبًا أسهل وأحجام ملفات أخف ، مع الحفاظ على الجودة أو بدون أي خسارة في الجودة ، وسيطرت بسرعة على مشهد التخصيص لاستقرار الانبعاث والنمذجة اللاحقة ، مثل Flux ، والآن نماذج فيديو توليدية جديدة مثل Hunyuan Video و Wan 2.1.

اغسل و كرر

المشكلة هي ، كما لاحظنا من قبل ، أن كل مرة يتم إصدار نموذج جديد ، يحتاج إلى جيل جديد من LoRAs لتدريبه ، مما يمثل احتكاكًا كبيرًا على منتجي LoRA ، الذين قد يتدربون على مجموعة من النماذج المخصصة فقط ليكتشفوا أن تحديث النموذج أو نموذج جديد شائع يعني أنهم يحتاجون إلى البدء من جديد.

لذلك أصبحت نهج التخصيص من الصفر تيارًا قويًا في الأدب في الآونة الأخيرة. في هذا السيناريو ، بدلاً من الحاجة إلى تحضير مجموعة بيانات وتنفيذ نموذج فرعي ، يمكنك ببساطة توفير صورة أو أكثر من الصور للموضوع الذي سيتم حقنه في التوليد ، ويفسر النظام هذه المصادر الإدخال إلى إخراج مخلوط.

فيما يلي نرى أن نظام من هذا النوع (هنا باستخدام PuLID ) يمكن أن يدمج أيضًا قيم الهوية في نقل النمط:

أمثلة على نقل الهوية باستخدام نظام PuLID. المصدر: https://github.com/ToTheBeginning/PuLID?tab=readme-ov-file

بينما يعتبر استبدال نظام شديد الحساسية مثل LoRA بمحول عام فكرة رائعة ( وشائعة ) ، إلا أنه يعتبر تحديًا أيضًا ؛ الانتباه الشديد للتفاصيل والحصول على تغطية في عملية تدريب LoRA يصعب تقليد ذلك في نموذج IP-Adapter من النوع واحد ، والذي يجب أن يطابق مستوى تفاصيل LoRA ومرونته بدون ميزة سابقة لتحليل مجموعة شاملة من صور الهوية.

HyperLoRA

مع هذا في الاعتبار ، هناك ورقة جديدة interessante من ByteDance تقترح نظامًا يولد رمز LoRA الفعلي على الطاير ، وهو فريد من نوعه بين حلول الصفر.

على اليسار ، الصور الإدخال. يمين ذلك ، مجموعة من الإخراج المتنوعة بناءً على الصور الإدخال ، مما ينتج بشكل فعال deepfakes من الممثلين أنتوني هوبكينز وآن هاثاواي.

ينص الورق على ما يلي:

‘تقنيات المعدل مثل IP-Adapter تجميد معلمات النموذج الأساسي وتنفيذ هيكل معالجة لتمكين الاستدلال من الصفر ، ولكنها غالبًا ما تظهر نقصًا في الطبيعية والصدق ، والتي لا ينبغي تجاهلها في مهام合ث الصور.

‘نقدم طريقة توليد محسنة متكيفة تسمى HyperLoRA ، والتي تستخدم شبكة معالجة متكيفة لإنشاء أوزان LoRA ، وتدمج الأداء الأعلى من LoRA مع القدرة على الصفر من مخطط المعدل.

‘من خلال هيكل شبكتنا المصمم بعناية و استراتيجية التدريب ، نحقق توليد شخصي متكيف للصور بناءً على الصفر (دعم المدخلات الصورية المفردة والمножية) مع واقعية عالية وصدق و قابلية للتحرير.’

الأكثر فائدة ، يمكن استخدام النظام كما تم تدريبه مع ControlNet الحالي ، مما يسمح بمستوى عالٍ من التحديد في التوليد:

يظهر تيموثي شالوميت بمظهر غير متوقع في فيلم ‘The Shining’ (1980) ، بناءً على ثلاث صور إدخال في HyperLoRA ، مع قناع ControlNet لتعريف الإخراج (بالاشتراك مع نص محفز).

فيما يتعلق بمدى إمكانية إتاحة النظام الجديد للمستخدمين النهائيين ، فإن ByteDance لديها سجل معقول في هذا الصدد ، حيث أصدرت الإطار القوي LatentSync للتعرف على الشفاه ، وأصدرت للتو الإطار InfiniteYou.

سلبًا ، لا يوجد في الورقة أي إشارة إلى نية بالإصدار ، والمرافق التدريبية اللازمة لإعادة إنشاء العمل تجعل من الصعب على مجتمع الهواة إعادة إنشائه (كما فعلوا مع DreamBooth).

الورقة الجديدة بعنوان HyperLoRA: Parameter-Efficient Adaptive Generation for Portrait Synthesis ، وهي من تأليف سبعة باحثين عبر ByteDance وفرع ByteDance المخصص للإنشاء الذكي.

الطريقة

تستخدم الطريقة الجديدة نموذج SDXL للاستقرار التوليدي كنموذج أساسي ، على الرغم من أن المبادئ تبدو قابلة للتطبيق على نماذج التوليد التمهيدي بشكل عام (مع ذلك ، قد تجعل متطلبات التدريب – انظر أدناه – من الصعب تطبيقها على نماذج الفيديو التوليدية).

يتكون عملية التدريب على HyperLoRA من ثلاث مراحل ، كل منها مصمم لتحديد ومحافظة على معلومات معينة في الأوزان المكتسبة. الهدف من هذا الإجراء المحدد هو منع ميزات الهوية ذات الصلة من التلوث بمكونات غير ذات صلة مثل الملابس أو الخلفية ، مع تحقيق الاندماج السريع والثبات.

مخطط مفاهيمي ل HyperLoRA. يتم تقسيم النموذج إلى ‘Hyper ID-LoRA’ لميزات الهوية و ‘Hyper Base-LoRA’ للخلفية والملابس. هذا الفصل يقلل من تسرب الميزات. خلال التدريب ، يتم تجميد قاعدة SDXL والكاشفات ، ويتم تحديث وحدات HyperLoRA فقط. عند الاستدلال ، يتم استخدام ID-LoRA فقط لتوليد صور مخصصة.

تركز المرحلة الأولى على تعلم ‘Base-LoRA’ (الجزء الأيسر السفلي في صورة المخطط أعلاه) ، الذي يلتقط تفاصيل غير متعلقة بالهوية.

لإجبار هذا الفصل ، قام الباحثون عمدًا بتعتيم الوجه في الصور التدريبية ، مما سمح للنموذج بالتركيز على أشياء مثل الخلفية والإضاءة والوضع – ولكن ليس الهوية. يعمل هذا المرحلة “دافئة” كمرشح ، لإزالة الانحرافات منخفضة المستوى قبل أن تبدأ عملية التعلم المحددة للهوية.

في المرحلة الثانية ، يتم إدخال ‘ID-LoRA’ (الجزء الأيسر العلوي في صورة المخطط أعلاه). هنا ، يتم ترميز هوية الوجه باستخدام مسارات متوازية: CLIP Vision Transformer (CLIP ViT) لميزات البنية ومشفر InsightFace AntelopeV2 لممثلات الهوية المجردة.

نهج انتقالي

تساعد ميزات CLIP على سير النموذج بسرعة ، ولكنها تتعرض لخطر التعلم الزائد ، في حين أن التضمين Antelope أكثر استقرارًا ولكن أبطأ في التدريب. لذلك يبدأ النظام بالاعتماد بشكل أكبر على CLIP ، ويتدرج تدريجيًا إلى Antelope ، لتجنب عدم الاستقرار.

في المرحلة النهائية ، يتم تجميد طبقات الانتباه الموجهة بواسطة CLIP كاملًا. يتم استمرار تدريب وحدات الانتباه المرتبطة بـ AntelopeV2 فقط ، مما يسمح للنموذج بتحسين الحفاظ على الهوية دون تدهور دقة أو عمومية المكونات المكتسبة مسبقًا.

هذا الهيكل المتدرج هو في الأساس محاولة لتحقيق فصل. يتم فصل ميزات الهوية وميزات غير الهوية ، ثم يتم تحسينها بشكل مستقل. إنه رد متعمد على أوضاع الفشل الشائعة للتخصيص: انجراف الهوية ، انخفاض القابلية للتحرير ، والتعلم الزائد لميزات عرضية.

بينما تزن

بعد أن قام CLIP ViT و AntelopeV2 باستخراج كل من الميزات الهيكلية والمجردة للهوية من صورة معينة ، يتم تمرير الميزات المكتسبة عبر مُعاد توجيه المُستلم (مشتق من مشروع IP-Adapter المذكور أعلاه) – وهو وحدة متعددة الوظائف تستند إلى Transformer التي تخطط الميزات إلى مجموعة مضغوطة من المعاملات.

يتم استخدام两个 مُعاد توجيه منفصلان: أحدهما لإنشاء أوزان Base-LoRA (التي ترميز الخلفية والمكونات غير الهوية) والآخر لإنشاء أوزان ID-LoRA (التي تركز على هوية الوجه).

مخطط لشبكة HyperLoRA.

يتم بعد ذلك دمج معاملات الإخراج خطيًا مع مجموعة من مصفوفات LoRA الأساسية المكتسبة ، مما ينتج أوزان LoRA كاملة بدون الحاجة إلى تعديل النموذج الأساسي.

يسمح هذا النهج للنظام بإنشاء أوزان مخصصة كاملًا على الطاير ، باستخدام فقط مشفرات الصور و_projection خفيفة الوزن ، مع الاستفادة من قدرة LoRA على تعديل سلوك النموذج الأساسي مباشرة.

بيانات واختبارات

لتدريب HyperLoRA ، استخدم الباحثون جزءًا من 4.4 مليون صورة للوجه من مجموعة LAION-2B (التي تعتبر الآن أفضل مصدر للنماذج الأصلية لاستقرار الانبعاث لعام 2022).

تم استخدام InsightFace لتصفية الوجوه غير الصورية وصور متعددة. تم بعد ذلك تعليم الصور بواسطة نظام BLIP-2 للتعليم.

فيما يتعلق ب تعزيز البيانات ، تم قص الصور بشكل عشوائي حول الوجه ، ولكن دائمًا مع التركيز على منطقة الوجه.

كان على رتب LoRA أن تتكيف مع الذاكرة المتاحة في إعداد التدريب. لذلك ، تم تعيين رتبة LoRA ل ID-LoRA إلى 8 ، ورتبة Base-LoRA إلى 4 ، بينما تم استخدام تراكم التدرج بخطوات ثمانية لتحاكي حجم باتش أكبر مما هو ممكن في الأجهزة.

قام الباحثون بتدريب وحدات Base-LoRA و ID-LoRA (CLIP) و ID-LoRA (التضمين الهويتي) بشكل متتالي لمدة 20K و 15K و 55K تكرار ، على التوالي. خلال تدريب ID-LoRA ، تم عينة من ثلاث سيناريوهات شرطية باحتمالات 0.9 و 0.05 و 0.05.

تم تنفيذ النظام باستخدام PyTorch و Diffusers ، وتم تشغيل عملية التدريب الكاملة لمدة عشر أيام على 16 وحدة معالجة رسومات NVIDIA A100*.

اختبارات ComfyUI

قام المؤلفون ببناء سير عمل في منصة ComfyUI للتحليل لتحديد HyperLoRA مقارنة بثلاث طرق منافسة: InstantID ؛ IP-Adapter المذكور أعلاه ، في شكل إطار IP-Adapter-FaceID-Portrait ؛ و PuLID المذكور أعلاه. تم استخدام بذور متسقة ومحفزات وطرق عينة عبر جميع الإطارات.

يشير المؤلفون إلى أن الأساليب المعتمدة على المعدل (بدلاً من LoRA) تتطلب عادةً مقاييس توجيه تصنيفية أقل (CFG).

لتحقيق مقارنة عادلة ، استخدم الباحثون نقطة تحقق مفتوحة المصدر من LEOSAM’s Hello World عبر الاختبارات. للاختبارات الكمية ، تم استخدام مجموعة بيانات Unsplash-50 للصور.

المقاييس

للمقارنة الكمية ، قاس المؤلفون تشابه الوجه باستخدام مسافات جيبية بين تضمينات الصور CLIP (CLIP-I) وتضمينات هوية منفصلة (ID Sim) مستخرجة بواسطة CurricularFace ، وهو نموذج لم يتم استخدامه أثناء التدريب.

أنتج كل طريقة أربعة صور رأس عالية الدقة لكل هوية في مجموعة الاختبار ، ثم تمت平均ة النتائج.

تم تقييم القابلية للتحرير من خلال مقارنة درجات CLIP-I بين الإخراج مع وبدون وحدات الهوية (لمعرفة مقدار التغيير الذي أحدثته قيود الهوية على الصورة) ؛ وقياس انطباق الصورة والنص CLIP (CLIP-T) عبر عشرات вариات المحفزات التي تغطي أسلوب الشعر و الاكسسوارات و الملابس و الخلفية.

شمل المؤلفون نموذج Arc2Face في المقارنات – نموذج أساسي تم تدريبه على تعليمات ثابتة ومناطق وجه مقطوعة.

对于 HyperLoRA ، تم اختبار两个 متغير: أحدهما يستخدم فقط وحدة ID-LoRA ، والآخر يستخدم كلا ID-LoRA و Base-LoRA ، مع وزن Base-LoRA عند 0.4. بينما تحسنت Base-LoRA من الدقة ، إلا أنها قيدت القابلية للتحرير قليلاً.

نتائج المقارنة الكمية الأولية.

من بين الاختبارات الكمية ، يعلق المؤلفون على ما يلي:

‘ساعد Base-LoRA على تحسين الدقة ولكن قيد القابلية للتحرير. على الرغم من أن تصميمنا يفصل ميزات الصورة إلى LoRAs منفصلة ، فمن الصعب تجنب التسرب المتبادل. وبالتالي ، يمكننا تعديل وزن Base-LoRA لتكيفه مع سيناريوهات تطبيق مختلفة.’

‘تحقق HyperLoRA (الكاملة و ID) من أفضل وأفضل دقة للوجه ، في حين يظهر InstantID تفوقًا في تشابه الهوية ولكن دقة أقل للوجه.’

‘يجب مراعاة كلا هذين المقاييس معًا لتقييم الدقة ، لأن تشابه الهوية أكثر تجريدًا ودقة الوجه تعكس المزيد من التفاصيل.’

في الاختبارات النوعية ، تبرز التبادلات الأساسية في الاقتراح الأساسي (يرجى ملاحظة أننا لا نملك مساحة لإعادة إنتاج جميع الصور للنتائج النوعية ، ونشير القارئ إلى الورقة الأصلية لمزيد من الصور بدقة أفضل):

مقارنة نوعية. من الأعلى إلى الأسفل ، تم استخدام المحفزات التالية: ‘قميص أبيض’ و ‘أذنان ذئب’ (انظر الورقة لامثلة إضافية).

هنا يعلق المؤلفون على ما يلي:

بشرة الصور التي تم إنشاؤها بواسطة IP-Adapter و InstantID تظهر نصًا مصنوعًا بشكل واضح ، وهو قليلًا مبالغًا فيه وبعيد عن الواقعية.

‘هذه مشكلة شائعة في الأساليب المعتمدة على المعدل. يحسن PuLID من هذه المشكلة عن طريق تقليل الغزو إلى النموذج الأساسي ، ويتفوق على IP-Adapter و InstantID ، ولكنه ما زال يعاني من التمويه وعدم وجود تفاصيل.’

‘على النقيض من ذلك ، يعدل LoRA أوزان النموذج الأساسي مباشرة بدلاً من إدخال وحدات انتباه إضافية ، وعادة ما ينتج صورًا مفصلة وواقعية.’

يجادل المؤلفون بأن HyperLoRA ، لأنه يعدل أوزان النموذج الأساسي مباشرة بدلاً من الاعتماد على وحدات الانتباه الخارجية ، يحافظ على القدرة غير الخطية لطرق LoRA التقليدية ، مما قد يوفر ميزة في الدقة والتفاصيل الدقيقة مثل لون العين.

في المقارنات النوعية ، يصرح الورقة على أن ترتيبات HyperLoRA كانت أكثر انسجامًا ومتوافقة مع المحفزات ، ومتشابهة مع تلك التي أنتجها PuLID ، في حين كانت أقوى بكثير من InstantID أو IP-Adapter (التي فشلت أحيانًا في اتباع المحفزات أو أنتجت تركيبات غير طبيعية).

أمثلة إضافية من توليدات ControlNet مع HyperLoRA.

الخلاصة

يتسم تدفق مستمر لأنظمة التخصيص من الصفر على مدار العام والنصف الماضي بجودة اليأس. لم تحقق معظم العروض تقدمًا ملحوظًا على حالة الفن ؛ تلك التي تقدمت قليلا على حالة الفن تميل إلى أن يكون لديها متطلبات تدريبية باهظة التكلفة و / أو متطلبات استدلال معقدة أو مكلفة.

على الرغم من أن نظام HyperLoRA الخاص بهم يحتوي على نظام تدريبي يصيب الصفر ، إلا أنه على الأقل ينتهي بنموذج يمكنه التعامل مع التخصيص المخصص على الفور من الصفر.

من المادة الإضافية للورقة ، نلاحظ أن سرعة الاستدلال ل HyperLoRA أفضل من IP-Adapter ، ولكن أسوأ من الطرق السابقة – وأنه تم تحديد هذه الأرقام باستخدام وحدة معالجة رسومات NVIDIA V100 ، والتي ليست عتادًا مستهلكًا نموذجيًا (على الرغم من أن وحدات معالجة رسومات NVIDIA الجديدة “المنزلية” يمكنها أن تتوافق مع أو تتجاوز أقصى 32 جيجابايت من VRAM للوحدة V100).

سرعات الاستدلال للطرق المنافسة ، بالمللي ثانية.

من العدل القول إن التخصيص من الصفر يبقى مشكلة غير محلولة من وجهة نظر عملي ، منذ أن تتعارض متطلبات الأجهزة الهائلة ل HyperLoRA بشكل معقول مع قدرته على إنتاج نموذج أساسي منفرد حقيقي على المدى الطويل.

* تمثل إما 640 جيجابايت أو 1280 جيجابايت من VRAM ، اعتمادًا على النموذج المستخدم (هذا لم يُذكر)

نشر لأول مرة يوم الإثنين ، 24 مارس 2025