استعادة وتحرير الصور البشرية باستخدام الذكاء الاصطناعي

تعاون جديد بين جامعة كاليفورنيا ميرسيد وأدوبي يقدم تقدمًا على الحالة الفنية في استكمال الصور البشرية – المهمة المدروسة جيدًا ل “إزالة الغموض” أو الأجزاء المخفية من الصور للأشخاص ، لأغراض مثل الجلسة الافتراضية والرسوم المتحركة وتحرير الصور.

بجانب إصلاح الصور التالفة أو تغييرها وفقًا لمراد المستخدم ، يمكن أن تفرض أنظمة استكمال الصور البشرية مثل CompleteMe ملابس جديدة (من خلال صورة مرجعية ملحقة ، كما هو موضح في العمود الوسط في هذه الأمثلة) في الصور الحالية. هذه الأمثلة من المستند الإضافي للورقة الجديدة.

المنهج الجديد ، بعنوان CompleteMe: استكمال الصور البشرية بالمرجع ، يستخدم صورًا إضافية كمدخلات لتقديم اقتراحات للنظام حول ما يجب استبدال الجزء المخفى أو المفقود من الصورة البشرية (من هنا يمكن تطبيقها على إطارات تجربة الملابس القائمة على الموضة):

يمكن لنظام CompleteMe أن يتوافق مع المحتوى المرجعي مع الجزء المخفي أو المحجوب من الصورة البشرية.

يستخدم النظام الجديد هيكل U-Net مزدوج و كتلة الانتباه المركزة على المنطقة (RFA) التي توجيه الموارد إلى المنطقة ذات الصلة في حالة استعادة الصورة.

كما يقدم الباحثون نظامًا جديدًا وتحديًا لتقويم مهام الاستكمال بالمرجع (نظرًا لأن CompleteMe هو جزء من سلسلة بحثية مستمرة في رؤية الكمبيوتر ، على الرغم من أنها لم تكن لها مخطط تقييم حتى الآن).

في الاختبارات ، وفي دراسة مستخدمين متسلسلة جيدًا ، ظهر المنهج الجديد في المقدمة في معظم المقاييس ، وفي المجموع. في بعض الحالات ، كانت الأساليب المنافسة محبوسة تمامًا بواسطة النهج القائم على المرجع:

من المادة الإضافية: يجد أسلوب AnyDoor صعوبة في تفسير صورة المرجع.

يذكر البحث:

‘تظهر التجارب الشاملة على معيارنا أن CompleteMe يتفوق على الأساليب الحالية ، سواء كانت قائمة على المرجع أو غير ذلك ، من حيث المقاييس الكمية والنتائج النوعية ودراسات المستخدمين. ‘

‘特别 في السيناريوهات الصعبة التي تتضمن أوضاع معقدة ورسومات ملابس معقدة وإكسسوارات مميزة ، يتحقق نموذجنا باستمرار من الإيمان البصري الفائق والاتساق الدلالي.’

لسوء الحظ ، لا يحتوي وجود المشروع على جيثب على أي رمز ، ولا يعدم أيًا ، والمنiative ، التي لها أيضًا صفحة مشروع متواضعة في موقع الويب ، يبدو أنها مصممة كهيكل مملوك:

مثال إضافي على أداء النظام الجديد مقارنة بالأساليب السابقة. مزيد من التفاصيل لاحقًا في المقال.

المنهج

يستند إطار CompleteMe على U-Net المرجعي ، الذي يتعامل مع دمج المواد الإضافية في العملية ، و U-Net المتماسك ، الذي يتيح مجموعة أوسع من العمليات للحصول على النتيجة النهائية ، كما هو موضح في المخطط المفاهيمي أدناه:

المخطط المفاهيمي لـ CompleteMe. مصدر: https://arxiv.org/pdf/2504.20042

يُشفر النظام أولًا الصورة المدخلة المخفيّة إلى تمثيل متأصل. في نفس الوقت ، يقوم U-Net المرجعي بمعالجة صور مرجعية متعددة – كل منها يظهر مناطق جسمية مختلفة – لاستخراج سمات مكانية مفصلة.

تتم تمرير هذه السمات عبر كتلة الانتباه المركزة على المنطقة المدمجة في U-Net “الكمال” ، حيث يتم масكها بشكل انتقائي باستخدام أقنعة منطقة tương ứng ، مما يضمن أن النموذج يركز فقط على المناطق ذات الصلة في الصور المرجعية.

تتم بعد ذلك دمج السمات المخفيّة مع سمات семантиية شاملة مشتقة من CLIP ، من خلال الانتباه المتقاطع المنفصل ، مما يسمح للنموذج بإعادة بناء المحتوى المفقود مع التفاصيل الدقيقة والاتساق الدلالي.

لتحسين الواقعية والمتانة ، يجمع عملية التماسك بين التماسك القائم على الشبكة العشوائية والتخفي المرجعي ، كل ذلك يتم تطبيقه بنسبة احتمالية متساوية ، مما يزيد من تعقيد المناطق المفقودة التي يجب على النموذج استكمالها.

لمراجعة فقط

اعتمادًا على معالجات المستوى الدلالي. وتشمل مشاريع من هذا النوع CLIP نفسه و DINOv2 ، وكلاهما يستخرج سمات شاملة من صور المرجع ، ولكن غالبًا ما يفقد التفاصيل المكانية الدقيقة المطلوبة للحفاظ على الهوية:

من ورقة الإصدار للنهج القديم DINOv2 ، الذي يتم تضمينه في الاختبارات المقارنة الجديدة: تُظهر الطبقات الملونة الأولى ثلاثة مكونات رئيسية من التحليل الرئيسي للمكونات ، المطبقة على قطع الصور داخل كل عمود ، وتُظهر كيف يجمع DINOv2 أجزاء الكائنات المتشابهة معًا عبر صور متغيرة.

يحُلّ CompleteMe هذا الجانب من خلال U-Net المرجعي المخصص ، الذي يُشَغِّل من Stable Diffusion 1.5 ، ولكن يعمل بدون خطوة الضوضاء التبديلية*.

كل صورة مرجعية ، تغطي مناطق جسمية مختلفة ، يتم تشفيرها إلى سمات متأصلة مفصلة من خلال هذا U-Net. كما يتم استخراج سمات شاملة семантиية بشكل منفصل باستخدام CLIP ، ويتوفر كلا النوعين من السمات للمعالجة أثناء التكامل القائم على الانتباه.

التوجيه

يُدير U-Net المتماسك المراحل النهائية لعملية الاستكمال. مُستمد من نسخة التكميل من Stable Diffusion 1.5 ، يأخذ كمدخلات الصورة المصدر المخفيّة في شكل متأصل ، إلى جانب سمات مكانية مفصلة مستمدة من صور المرجع وسمات شاملة семантиية مستخرجة بواسطة مشفر CLIP.

تتم دمج هذه المدخلات المختلفة من خلال كتلة RFA ، التي تلعب دورًا حاسمًا في توجيه انتباه النموذج نحو المناطق الأكثر صلة في المواد المرجعية.

قبل دخول الآلية الانتباهية ، يتم масك سمات المرجع صراحة لإزالة المناطق غير المرتبطة ، ثم يتم إضافتها إلى التمثيل المتأصل للصورة المصدر ، مما يضمن توجيه الانتباه بدقة قدر الإمكان.

لتحسين هذا التكامل ، يدمج CompleteMe آلية انتباه متقاطع منفصلة مستمدة من إطار IP-Adapter:

IP-Adapter ، الذي يتم تضمينه في CompleteMe ، هو واحد من أكثر المشاريع نجاحًا وأكثرها استخدامًا في السنوات الثلاثة المضطربة الأخيرة من تطوير هيكل النموذج التبديلي.

هذا يسمح للنموذج بمعالجة سمات بصرية مكانية مفصلة وسياق семантиية أوسع من خلال تيارات انتباه منفصلة ، والتي يتم دمجها فيما بعد ، مما يؤدي إلى بناء متسق يحافظ على الهوية والتفاصيل الدقيقة.

المعيار

في غياب مجموعة بيانات مناسبة لاستكمال الصور البشرية بالمرجع ، قام الباحثون بطرح معيارهم الخاص. تم بناء المعيار (الذي لم يُسمّى) من خلال تحديد أزواج صور محددة من مجموعة WPose المصممة لمشروع UniHuman التابع لأدوبي البحث في عام 2023.

أمثلة من أوضاع مشروع UniHuman التابع لأدوبي البحث في عام 2023.

تمت إضافة أقنعة مصدر يدوية لتحديد مناطق التكميل ، مما أدى في النهاية إلى الحصول على 417 مجموعة صورة ثلاثية تتكون من صورة مصدر و قناع و صورة مرجعية.

أمثلة على المجموعات المستمدة في البداية من مجموعة WPose المرجعية ، والتي تم تحريرها على نطاق واسع من قبل باحثي الورقة الجديدة.

استخدم المؤلفون نموذج اللغة الكبير LLaVA لإنشاء نصوص تعليمية تصف الصور المصدر.

تم استخدام مقاييس أكثر شمولاً من المعتاد ؛ بالإضافة إلى نسبة الإشارة إلى الضوضاء القصوى (PSNR) والفهرس الدلالي الهيكلي (SSIM) ومقياس التشابه البصري المكتسب (LPIPS ، في هذه الحالة لتقييم مناطق التكميل) ، استخدم الباحثون DINO لتحديد درجات التشابه ؛ DreamSim لتقييم نتائج التوليد ؛ و CLIP.

البيانات والاختبارات

لاختبار العمل ، استخدم المؤلفون كلا نموذج Stable Diffusion V1.5 الافتراضي ونموذج التكميل 1.5. استخدم مشفر الصورة في النظام نموذج الرؤية في CLIP ، جنبًا إلى جنب مع طبقات إسقاط – شبكات عصبية صغيرة تُشكل أو تُحاذي إخراجات CLIP لتطابق أبعاد الميزة الداخلية المستخدمة بواسطة النموذج.

تم إجراء التدريب لمدة 30,000 تكرار عبر ثمانية وحدات معالجة رسومات A100 من شركة NVIDIA ، تحت إشراف خسارة Mean Squared Error (MSE) ، مع حجم批ة 64 ومعدل تعلم 2×10^-5. تم إسقاط عناصر مختلفة بشكل عشوائي خلال التدريب ، لمنع النظام من التجاوز على البيانات.

تم تعديل مجموعة البيانات من مجموعة Parts to Whole ، التي تعتمد على مجموعة DeepFashion-MultiModal.

أمثلة من مجموعة Parts to Whole ، التي تم استخدامها في تطوير البيانات المعدة لـ CompleteMe.

يذكر المؤلفون:

‘لتحقيق متطلباتنا ، قمنا ببناء أزواج التدريب من خلال استخدام صور مخفية مع صور مرجعية متعددة تلتقط جوانب مختلفة من المظهر البشري جنبًا إلى جنب مع تسميات نصية قصيرة. ‘

‘كل عينة في بياناتنا التدريبية تتضمن ستة أنواع من المظهر: ملابس الجسم العلوي ، ملابس الجسم السفلي ، ملابس الجسم الكامل ، شعر أو قبعات ، وجه ، وأحذية. بالنسبة إلى استراتيجية التماسك ، نقوم بتطبيق 50٪ من التماسك القائم على الشبكة العشوائية بين 1 إلى 30 مرة ، بينما نستخدم قناع شكل الجسم البشري بنسبة 50٪ المتبقية لزيادة تعقيد المناطق المخفية التي يجب على النموذج استكمالها. ‘

‘بعد بناء خط أنابيب البيانات ، حصلنا على 40,000 زوج صورة لتدريب النموذج.’

تم اختبار الأساليب السابقة غير المرجعية مثل استكمال الصور البشرية الكبيرة المخفية ونموذج التكميل المتصلة BrushNet ؛ تم اختبار الأساليب المرجعية مثل Paint-by-Example و AnyDoor و LeftRefill و MimicBrush.

بدأ المؤلفون بمقارنة كمية على المقاييس المذكورة أعلاه:

نتائج المقارنة الكمية الأولية.

فيما يتعلق بالتقييم الكمي ، يلاحظ المؤلفون أن CompleteMe يحقق أعلى الدرجات في معظم المقاييس الإدراكية ، بما في ذلك CLIP-I و DINO و DreamSim و LPIPS ، والتي تهدف إلى التقاط الاتساق الدلالي والموضوعي بين الإخراج والصورة المرجعية.

ومع ذلك ، لا يتفوق النموذج على جميع الأسس المقارنة في جميع الجوانب. على سبيل المثال ، يحصل BrushNet على أعلى درجة في CLIP-T ، و LeftRefill يتصدر في SSIM و PSNR ، و MimicBrush يتفوق قليلاً في CLIP-I.

في حين أن CompleteMe يُظهر نتائج قوية بشكل عام ، تكون الفروق في الأداء متواضعة في بعض الحالات ، ويظل بعض المقاييس قيد قيادة أساليب سابقة منافسة. ربما بشكل عادل ، يُظهر المؤلفون هذه النتائج كدليل على قوة CompleteMe المتوازنة عبر الأبعاد الهيكلية والبصرية.

التوضيحات للاختبارات النوعية التي أجريت في الدراسة كثيرة جدًا بحيث لا يمكن إعادة إنتاجها هنا ، ونتوجه القراء ليس فقط إلى الورقة الأصلية ، ولكن إلى المستند الإضافي الشامل المستند الإضافي ، الذي يحتوي على العديد من الأمثلة النوعية الإضافية.

نُسلط الضوء على الأمثلة النوعية الرئيسية المقدمة في الورقة الرئيسية ، جنبًا إلى جنب مع مجموعة مختارة من الحالات الإضافية المستمدة من مجموعة الصور الإضافية المقدمة في هذه المقالة:

النتائج النوعية الأولية المقدمة في الورقة الرئيسية.

الخلاصة

إذا كان هناك شيء ، فإن النتائج النوعية في هذه الدراسة تُضعف بفعل كميتها ، حيث يشير الفحص الدقيق إلى أن النظام الجديد هو مدخل فعال في هذا المجال الفرعي النيشي ولكن الساخن للتعديل البصري العصبي.

ومع ذلك ، يتطلب الأمر عناية واهتمامًا إضافيين للاطلاع على كيفية تكيف النظام مع المحتوى المرجعي مع الجزء المخفي من الصورة ، مقارنة بالأساليب السابقة (في hầu hết الحالات).

نوصي القراء بفحص المادة الإضافية بعناية.

* من المثير للاهتمام ملاحظة كيف يبقى الإصدار 1.5 القديم مفضلاً لدى الباحثين – جزئيًا بسبب الاختبارات القديمة ، ولكن أيضًا لأنه أقل رقابة وربما أكثر قابلية للتدريب من جميع إصدارات Stable Diffusion ، ولا يشارك في العيوب الرقابية لإصدارات FOSS Flux.

^† لم يتم تحديد مواصفات VRAM – سيكون إما 40GB أو 80GB لكل بطاقة.

نُشر لأول مرة يوم الثلاثاء ، 29 أبريل 2025