زاوية Anderson
تحرير الكائنات بمساعدة الذكاء الاصطناعي عبر Imagic من Google وErase and Replace من Runway

النقاط الرئيسيةتقوم Imagic بضبط دقيق لنماذج الانتشار من أجل تعديلات دقيقة على الكائنات، على عكس أداة…
عرض المزيد
- تقوم Imagic بضبط دقيق لنماذج الانتشار من أجل تعديلات دقيقة على الكائنات، على عكس أداة Erase and Replace من Runway التي تقتصر على الاستبدال فقط.
- تستبدل أداة Erase and Replace من Runway الكائنات بسرعة، لكنها لا تستطيع تعديل المحتوى الموجود، بل تستبدله فقط.
- يستغرق التحسين لكل صورة في Imagic ثماني دقائق على شريحتي TPUV4، مما يحد من استخدامه عبر واجهة برمجة التطبيقات (API) فقط.
هذا الأسبوع، يقدم خوارزميتان رسوميتان جديدان، ولكنهما متناقضان، مدفوعان بالذكاء الاصطناعي، طرقًا مبتكرة للمستخدمين النهائيين لإجراء تغييرات دقيقة وفعّالة على الكائنات في الصور.
الأول هو Imagic، من Google Research، بالتعاون مع معهد إسرائيل للتكنولوجيا ومعهد وايزمان للعلوم. يوفّر Imagic تحريرًا مشروطًا بالنص، ودقيقًا للكائنات عبر ضبط نماذج الانتشار.

غيّر ما تريد، واترك الباقي دون تغيير – يَعِد Imagic بتحرير دقيق فقط للأجزاء التي تريد تغييرها. المصدر: https://arxiv.org/pdf/2210.09276.pdf
من جرّب تعديل عنصر واحد فقط في إعادة تصيير Stable Diffusion سيعرف جيدًا أن كل تعديل ناجح يُقابل تغييرات غير مرغوبة في خمسة عناصر أخرى كانت تُعجبك كما هي. هذه المشكلة تدفع العديد من المتحمسين لـ SD إلى التنقل باستمرار بين Stable Diffusion وPhotoshop لإصلاح ما يُسمّى «الأضرار الجانبية». من هذا المنظور وحده، تبدو إنجازات Imagic ملحوظة.
في وقت كتابة هذا المقال، لا يمتلك Imagic حتى فيديو ترويجي، وبالنظر إلى الموقف المتحفظ لجوجل بشأن إطلاق أدوات توليد الصور غير المقيدة، لا يُعرف إلى أي مدى، إن وجد، سيتاح لنا اختبار النظام.
العرض الثاني هو أداة Erase and Replace الأكثر سهولة من Runway ML، وهي ميزة جديدة في قسم «AI Magic Tools» ضمن مجموعة الأدوات البصرية القائمة على التعلم الآلي المتوفرة حصريًا على الإنترنت.

ميزة Erase and Replace من Runway ML، التي ظهرت مسبقًا في عرض تجريبي لنظام تحرير فيديو بواسطة النص.
لنلقِ نظرة أولًا على ما قدمته Runway.
Erase and Replace
مثل Imagic، يتعامل Erase and Replace حصريًا مع الصور الثابتة، رغم أن Runway عرضت مسبقًا نفس الوظيفة في حل تحرير فيديو بواسطة النص لم يُصدر بعد:

يمكن لأي شخص تجربة Erase and Replace على الصور، لكن النسخة الفيديوية غير متاحة للجمهور بعد. المصدر: https://twitter.com/runwayml/status/1568220303808991232
على الرغم من أن Runway ML لم تكشف عن تفاصيل التقنية وراء Erase and Replace، فإن السرعة التي يمكن بها استبدال نبتة منزلية بتمثال نصفي مقنع إلى حد ما لرونالد ريغان توحي بأن نموذج انتشار مثل Stable Diffusion (أو، على الأرجح الأقل احتمالًا، DALL‑E 2 مرخص) هو المحرك الذي يعيد إنشاء الكائن المختار في Erase and Replace.

استبدال نبتة منزلية بتمثال نصفي لرونالد ريغان الملقب The Gipper ليس سريعًا بهذا القدر، لكنه لا يزال سريعًا. المصدر: https://app.runwayml.com/
النظام يفرض بعض القيود المشابهة لتلك الموجودة في DALL‑E 2 – الصور أو النصوص التي تُثير مرشحات Erase and Replace ستؤدي إلى تحذير بشأن احتمال إيقاف الحساب في حال تكرار المخالفات – وهو ما يُعد نسخةً تقريبيةً من سياسات OpenAI المستمرة لـ DALL‑E 2.
العديد من النتائج تفتقر إلى الحواف الخشنة النموذجية لـ Stable Diffusion. Runway ML هم مستثمرون وشركاء بحثيين في SD، ومن الممكن أنهم درّبوا نموذجًا مملوكًا يتفوق على أوزان نقطة التفتيش المفتوحة المصدر 1.4 التي نتعامل معها جميعًا (كما تقوم مجموعات تطوير أخرى، هواة ومهنيون، بتدريب أو ضبط نماذج Stable Diffusion).

استبدال طاولة منزلية بـ «طاولة من الثلج» في Erase and Replace من Runway ML.
كما هو الحال مع Imagic (انظر أدناه)، فإن Erase and Replace يُعَد «موجهًا للكائنات» – لا يمكنك مسح جزء «فارغ» من الصورة وإعادة تعبئته بناءً على موجه نصي؛ ففي هذا السيناريو سيُحدد النظام أقرب كائن ظاهر على طول خط القناع (مثل جدار أو تلفاز) ويطبّق التحويل هناك.

كما يدل الاسم، لا يمكنك إدخال كائنات إلى مساحة فارغة في Erase and Replace. هنا، محاولة استدعاء أشهر سيث لورد تُنتج جدارية غريبة متعلقة بفادر على التلفاز، تقريبًا في المنطقة التي تم رسم «استبدال» فيها.
من الصعب تحديد ما إذا كان Erase and Replace يتجنّب استخدام الصور المحمية بحقوق النشر (التي لا تزال تُحجب إلى حد كبير في DALL‑E 2، وإن بدرجات نجاح متفاوتة)، أو إذا كان النموذج المستخدم في محرك العرض الخلفي غير مُحسّن لهذا النوع من الاستخدام.

تشير «الجدارية غير الملائمة قليلًا» لنيكول كيدمان إلى أن النموذج القائم على الانتشار ربما يفتقر إلى آلية الرفض المنهجية السابقة في DALL‑E 2 للوجوه الواقعية أو المحتوى المثير، بينما تتراوح نتائج محاولات استنساخ أعمال محمية بين الغامض («إكسومورف») والسخيف («العرش الحديدي»). الصورة الأصلية في الزاوية السفلية اليمنى.
من المثير معرفة الأساليب التي يستخدمها Erase and Replace لعزل الكائنات القابلة للاستبدال. من المحتمل أن الصورة تُمرّر عبر نسخة من CLIP، حيث تُحدّد العناصر الفردية عبر التعرف على الكائنات ثم التقسيم الدلالي. لا تعمل أي من هذه العمليات بنفس الكفاءة في تثبيت عادي لـ Stable Diffusion.
لكن لا شيء مثالي – أحيانًا يبدو أن النظام يمسح دون استبدال، حتى عندما (كما رأينا في الصورة أعلاه) يعرف آلية العرض الأساسية ما يعنيه موجه النص. في هذه الحالة، يصبح من المستحيل تحويل طاولة قهوة إلى إكسومورف – فالطاولة تختفي ببساطة.

نسخة مخيفة أكثر من «أين والدو»، حيث يفشل Erase and Replace في إنتاج كائن فضائي.
يظهر Erase and Replace كنظام استبدال كائنات فعّال، مع تعبئة داخلية ممتازة. إلا أنه لا يستطيع تعديل الكائنات المُدركة حاليًا، بل يكتفي باستبدالها. تعديل محتوى الصورة الموجود دون الإضرار بمحتوى الصورة المحيط يُعد مهمة أصعب بكثير، مرتبطة بصراع طويل في مجال رؤية الحاسوب نحو فك الترابط في الفضاءات الكامنة للأطر الشائعة.
Imagic
هذا هو التحدي الذي يعالجه Imagic. الورقة الجديدة تقدم أمثلة عديدة لتعديلات تُعيد صياغة جوانب فردية من الصورة مع ترك باقي الصورة دون تغيير.

في Imagic، لا تعاني الصور المعدّلة من التشويه والتمدد وتخمين الأجزاء المحجوبة الذي يميّز تحريك الدمى بتقنيات الديب فايك المعتمدة على معلومات مسبقة محدودة من صورة واحدة.
يعتمد النظام على عملية من ثلاث مراحل – تحسين تضمين النص؛ ضبط النموذج؛ وأخيرًا توليد الصورة المعدّلة.

يقوم Imagic بترميز موجه النص المستهدف لاسترجاع تضمين النص الأولي، ثم يحسّن النتيجة للحصول على الصورة المدخلة. بعد ذلك يُضبط النموذج التوليدي على الصورة الأصلية مع إضافة مجموعة من المعلمات، قبل تطبيق الاستيفاء المطلوب.
ليس من المستغرب أن الإطار مبني على بنية Imagen النص‑إلى‑فيديو من جوجل، رغم أن الباحثين يشيرون إلى أن مبادئ النظام قابلة للتطبيق على نماذج الانتشار الكامنة بشكل عام.
تستخدم Imagen بنية ثلاثية الطبقات، خلافًا لمصفوفة الطبقات السبع المستخدمة في النسخة الأحدث من برنامج الشركة النص‑إلى‑فيديو. تتكوّن الوحدات الثلاثة من نموذج انتشار توليدي يعمل بدقة 64×64 بكسل؛ نموذج رفع دقة يُحوّل الناتج إلى 256×256 بكسل؛ ونموذج رفع دقة إضافي يرفع الناتج إلى 1024×1024 بكسل.
يتدخل Imagic في المرحلة الأولى من هذه العملية، حيث يُحسّن تضمين النص المطلوب عند مرحلة 64 بكسل باستخدام مُحسّن آدم بمعدل تعلم ثابت قدره 0.0001.

دورة متقدمة في فك الترابط: المستخدمون الذين حاولوا تغيير لون كائن مُولَّد في نموذج انتشار أو GAN أو NeRF يدركون أهمية قدرة Imagic على إجراء هذه التحولات دون «تمزيق» اتساق باقي الصورة.
يُجرى الضبط الدقيق على نموذج Imagen الأساسي، بمعدل 1500 خطوة لكل صورة مدخلة، مشروطًا بالتضمين المعدل. في الوقت نفسه، تُحسّن الطبقة الثانوية 64px → 256px بالتوازي على الصورة المشروطة. يلاحظ الباحثون أن تحسين الطبقة النهائية 256px → 1024px «ليس له تأثير ملحوظ» على النتائج النهائية، لذا لم يُطبقوا ذلك.
تشير الورقة إلى أن عملية التحسين تستغرق تقريبًا ثماني دقائق لكل صورة على شريحتين TPU V4. يُجرى العرض النهائي داخل نواة Imagen وفق مخطط العينة DDIM.
كما هو الحال مع عمليات الضبط الدقيق المشابهة في DreamBooth من جوجل، يمكن استخدام التضمينات الناتجة لإنتاج الصور بأساليب فنية، بالإضافة إلى تعديلات فوتورالية تستند إلى قاعدة البيانات الواسعة التي تُغذي Imagen (نظرًا لأن الصور المصدرية لا تحتوي على المحتوى الضروري لإجراء هذه التحولات).

يمكن من خلال Imagic الحصول على حركات وتعديلات فوتورالية مرنة، بينما يمكن استخدام الشيفرات المستخرجة والمفككة في العملية لإنتاج مخرجات ذات أسلوب فني.
قارن الباحثون Imagic بالأعمال السابقة SDEdit، وهو نهج قائم على GAN من عام 2021، نتاج تعاون بين جامعة ستانفورد وجامعة كارنيجي ميلون؛ وText2Live، تعاون من أبريل 2022 بين معهد وايزمان للعلوم وNVIDIA.

مقارنة بصرية بين Imagic وSDEdit وText2Live.
من الواضح أن الأساليب السابقة تواجه صعوبات، لكن في الصف السفلي، الذي يتضمن تغييرًا جذريًا في الوضعية، تفشل النماذج القائمة تمامًا في إعادة تشكيل المادة الأصلية، بينما يحقق Imagic نجاحًا ملحوظًا.
متطلبات موارد Imagic ووقت التدريب لكل صورة، رغم أنهما قصيران مقارنةً بالمعايير المعتادة، يجعلان من غير المرجح دمجه في تطبيق تحرير صور محلي على الحواسيب الشخصية – ولا يتضح إلى أي مدى يمكن تصغير عملية الضبط الدقيق لتصبح ملائمة للمستهلكين.
في الوقت الحالي، يُعد Imagic عرضًا مثيرًا يفضل أن يُستَخدم عبر واجهات برمجة التطبيقات (APIs) – وهو البيئة التي قد يشعر فيها Google Research، الحذر من الانتقادات المتعلقة بتسهيل إنشاء الديب فايك، بالراحة الأكبر.
نُشِر لأول مرة في 18 أكتوبر 2022.












