حذف الأشياء والأشخاص من الفيديو باستخدام الذكاء الاصطناعي

لا، الطفل لا يبقى في الصورة، إذا كان للذكاء الاصطناعي أي شيء لتفعله.

إزالة الأشخاص والأشياء من الصور والفيديو هو مجال بحث شائع في الأدب العلمي المتعلق بالتأثيرات البصرية التي تعتمد على الذكاء الاصطناعي، مع عدد متزايد من مجموعات البيانات والأطر المخصصة لمواجهة هذا التحدي. أحدث هذه الإطارات، من معهد البيانات الكبيرة بجامعة فودان في الصين، هو EffectErase، نظام إزالة أشياء فيديو مدعوم بالتأثيرات، والذي يُدعي أنه يحسن بشكل ملحوظ على الحالة الحالية في الاختبارات:

مجمعة من المواد على موقع المشروع، أمثلة على طريقة EffectErase (يرجى ملاحظة أنه بينما نقدم رابطًا، فإن الموقع المصدري يحتوي على العديد من مقاطع الفيديو عالية الدقة وغير محسنة ذات تشغيل تلقائي قد يؤثر على استقرار متصفحك. مقطع الفيديو على يوتيوب هو مرجع أسهل وأكثر إكمالًا، وتمت إضافته في نهاية هذا المقال).  المصدر

شمل العمل الجديد إنشاء مجموعة بيانات شبه جديدة تتألف من ما يقرب من 350 مشهد حقيقي ومحاكى (باستخدام مستودعات عامة*)، إما تم التقاطها بجهاز مخصص أو تم الحصول عليها وإعادة توجيهها إلى تدفق بناء حول إطار Blender 3D المفتوح.

ت形成 مجموعة الفيديو 混合ة لازالة الأشياء (VOR) أساسًا لتطبيق EffectErase نفسه، الذي يتم بناؤه فوق نظام Wan2.1 لإنشاء الفيديو. يحدد النظام أيضًا معايير اختبار جديدة متعلقة به: VOR Eval و VOR Wild – على التوالي، للعينات مع وبدون حقيقة أرضية.

(على الرغم من أن الورقة لها موقع مشروع مصاحب، إلا أنه يتعرض لعبء شديد بسبب مقاطع فيديو عالية الدقة متعددة، ويتعذر تحميله؛ لذلك يرجى الرجوع إلى المقاطع التي قمت بتحضيرها في مقطع الفيديو المضمن أعلاه، إذا وجدت موقع المشروع صعبًا في الاستخدام)

مقارنة بالكميات عبر مجموعات بيانات قابلة للمقارنة، مع الاحترام لمقدمة جديدة. المصدر

يزعم الباحثون أن نهجهم يields أداءً على مستوى الدولة، من حيث المقاييس الكمية والنتائج النوعية التي حكمتها دراسة بشرية.

هم يشيرون إلى أن الأعمال السابقة لم تنجح دائمًا في إزالة التأثيرات المرافقة للكائن، مثل الظلال والانعكاسات، وأن مجموعتهم تم إنشاؤها بعناية لتصحيح هذا النقص:

أمثلة على فشل النهج السابقة في النظر إلى ما وراء الكائن المطلوب إزالته، إلى الإشارات الثانوية، مثل الانعكاسات والظلال.

الورقة الجديدة بعنوان EffectErase: إزالة الأشياء المشتركة وإدراج الفيديو لتحقيق إزالة تأثيرات عالية الجودة، وهي تأتي من أربعة باحثين في كلية علوم الحاسوب والذكاء الاصطناعي بجامعة فودان.

الطريقة

تم تصميم مجموعة بيانات VOR الهجينة لتغطية نطاقًا واسعًا من السيناريوهات بحيث تغطي جميع الآثار المحتملة لمحاولة إزالة شخص أو كائن من فيديو:

إطارات متوافقة من مجموعة بيانات VOR توضح كيف يجب أن تمتد إزالة الكائنات إلى ما وراء الموضوع المرئي إلى التأثيرات التي تسببها، مع أمثلة تظهر الحجب والظلال والتحولات الضوئية والانعكاسات والتشويه الجسدي، كل ذلك معروض كمدخل (كائن موجود) جنبًا إلى جنب مع الخلفية النظيفة بعد الإزالة. لمزيد من الأمثلة، يرجى الرجوع إلى مقطع الفيديو على يوتيوب المضمن في نهاية هذا المقال.

تم تعريف خمسة أنواع ممثلة من “التداخل” التي يجب معالجتها من قبل المؤلفين على أنها الحجب، بما في ذلك أنواع مختلفة من حجب الغاز والتدخين؛ الظلال؛ الضوء (على سبيل المثال، عندما يخلق كائن يتم إزالته أو يغير مسار الضوء)؛ الانعكاسات؛ و التشويه (على سبيل المثال، بصمة المستخدم على وسادة، والتي لا ينبغي أن تنجو من إزالة الشخص).

pipeline إنشاء مجموعة بيانات VOR، التي تجمع بين المشاهد السينثتيك التي تم إنشاؤها بواسطة Blender مع اللقطات الحقيقية، حيث يتم بناء البيانات السينثتيك من بيئات ثلاثية الأبعاد ومتجهات الكاميرا، واللقطات الحقيقية المسجلة عبر مشاهد متنوعة، مع تحسين الحركة بتقنية Ken Burns. ثم يتم إنتاج ثلاثيات الفيديو المتوافقة مع الخلفية والأمامية مع Masks بواسطة SAM2 وتنقية يدوية:

لبيانات العالم الحقيقي الأصلي، استخدم الباحثون كاميرات ثابتة لتسجيل مشاهد “مع” و “بدون” تغطي نطاقًا واسعًا من البيئات، وقت اليوم، والظروف الجوية.

لبيانات السينثتيك، تم تقديم عدة زوايا ومشاهد متعددة الكائنات، وتتميز بحركات كاميرا معقدة ومتعددة التحديات، كما لو كانت في لقطات حقيقية؛ ويلاحظ الباحثون أن هذا النهج أكثر تعقيدًا وجهدًا من النهج المستخدم لمجموعة بيانات ROSE المماثلة.

لزيادة تنوع الحركة، تم تطبيق تأثير Ken Burns على أزواج الكاميرا، مع إضافة تحكم في الزووم والتحريك اليدوي الخفيف تحت قواعد محددة مسبقًا، مع خمسة أنماط حركة تم اختبارها لكل زوج مع الحفاظ على المحاصيل داخل الإطار الأصلي.

تم توسيع الحجم والتنوع من خلال الجمع بين الكائنات السينثتيك مع إعدادات الكاميرا المتعددة، تم إنشاء Masks عن طريق وضع نقط تحفيز يدوية على الإطارات الرئيسية، وتمام التجزئة بواسطة SAM2، وتنقية النتائج، وتم تجميع ثلاثيات الفيديو الأمامية والخلفية والخلفية المصدقة لتدريب.

تتكون المجموعة النهائية من 145 ساعة من الفيديو عبر 60,000 فيديو متوافق، حقيقي وسينثتيكي، تغطي 366 فئة كائن في 443 مشهد.

يتغذى شبكة EffectErase على المواد من خلال مشفر أوتوماتيكي متغير (VAE^†)، مع معالجة الضوضاء بواسطة Wan2.1. على هذا الهيكل، يعمل EffectErase إزالة-إدراج التعلم المشترك، الذي يتدرب على كلا المهمتين معًا على نفس المناطق؛ توجيه المنطقة المتعلم (TARG)، الذي يستخدم رموز الكائن والمهمة مع الانتباه المتقاطع لتمثيل الروابط المكانية الزمنية بين الكائنات وتأثيراتها وتمكين تبديل المهمة؛ و فقدان التأثيرات المتسقة، الذي يركز على مناطق التأثيرات المتوافقة عبر مهام الإزالة والإدراج:

مخطط لطراز EffectErase. خلال التدريب، يتم ترميز مقاطع الفيديو المزدوجة في فضاء 潜 متشارك، ودمجها مع الضوضاء، ومعالجتها بواسطة محول انتشار مدعوم بالانتباه المتعلم، بينما يتم محاذاة فقدان التأثيرات المتسقة لتركيز كلا المهمتين على نفس المنطقة.

بذاتها، يتم تدريب عمليات الإزالة والإدراج معًا، باستخدام هيكل انتشار مشترك، بحيث يتعلم الطراز التركيز على نفس المناطق المتأثرة والإشارات الهيكلية.

تم ترميز مقاطع الفيديو التي تحتوي على كائنات، ومقاطع الفيديو الخلفية فقط، والمasks، في فضاء 潜؛ ثم تم إضافة الضوضاء للتدريب بالانتشار، ويتعلم الطراز استعادة التمثيلات النظيفة تحت توجيه المهمة.

توجيه المنطقة المتعلم يخلق إشارة مهمة عن طريق الجمع بين الرموز اللغوية مع الميزات البصرية المستخرجة من الكائن الأمامي، باستخدام CLIP، ويتغاضى عن رمز الكائن العام ويتضمن تضمين مستمدًا من المحتوى الفعلي للصورة. يتم حقن هذا التمثيل المتوحد في الهيكل من خلال الانتباه المتقاطع، مما يسمح للطراز بمتابعة كيفية تطور الكائن وتأثيراته البصرية عبر الفضاء والزمن، مع تمكين التبديل المرن بين الإزالة والإدراج.

فقدان التأثيرات المتسقة يضمن أن تركز عمليات الإزالة والإدراج على نفس المناطق المتغيرة، لأن كلا المهمتين تتعاملان مع نفس الكائن وتأثيراته البصرية. يتم دمج خرائط الانتباه من كل فرع في خرائط مناطق ناعمة، وتم محاذاتها مع خريطة الفروقات محسوبة من مقاطع الفيديو للكائن والخلفية، بحيث يتم الحفاظ على التغييرات الدقيقة مثل الإضاءة والظلال. يساعد هذا الفقدان الإضافي الانتباه في توجيه الإدراج والحفاظ على المهمتين متسقتين.

البيانات والاختبارات

تم اختبار نهج الباحثين ضد مختلف طرق التلوين، وتلوين الفيديو، وإزالة الكائنات: OmniPaint؛ ObjectClear؛ VACE؛ DiffuEraser؛ ProPainter؛ ROSE؛ و MiniMax-Remover.

تم ضبط Wan2.1 مع LoRA^†† باستخدام مجموعة بيانات VOR بدقة 832x480px. تم اختبار 81 إطارًا متتاليًا (الحد الفعال لـ WAN، بعد الذي يحدث فيه الأخطاء) بشكل عشوائي للتدريب، والذي تم إجراؤه لمدة 129,000 تكرار بحدّ batchSize من 8، على ثمانية H100 GPUs، كل منها مع 80GB من VRAM. تم ضبط معدل التعلم إلى 1×10²، و رتبة LoRA إلى 256.

كانت ROSE-Benchmark مجموعة بيانات سينثتيك الخارجية الوحيدة التي تم اختبارها؛ كانت المجموعتان الأخريان VOR-Eval، جزء اختبار مجموعة بيانات VOR؛ و VOR-Wild، مجموعة اختبار تتكون من 195 فيديو حقيقي تم حصدتها من الإنترنت، وتتميز بكائنات ديناميكية.

تم استخدام مقاييس مثل نسبة الإشارة إلى الضوضاء القصوى (PSNR)؛ مؤشر التشابه الهيكلي (SSIM)؛ تشابه الصور المكتسبة (LPIPS)؛ و مسافة الفيديو Fréchet (FVD). كما تم الأخذ في الاعتبار دراسة مستخدمين لمدة 195 فيديو تم إنشاؤها من VOR-Wild، مع الأخذ في الاعتبار التقييمات المتوسطة من 20 متطوعًا.

بالإضافة إلى ذلك، قام المؤلفون بتصميم QScore، وهو مقياس يستفيد من نموذج Qwen-VL متعدد الوسائط، لتقييم جودة فيديو إزالة الكائنات، من حيث الآثار المتبقية أو الإزالات البيئية المفقودة، مثل الظلال والآثار الضوئية:

مقارنة كمية على ROSE و VOR، مع أفضل نتائج وثاني أفضل نتائج في الغالب وتنسيق تحت الخط، على التوالي.

بخصوص هذه النتائج، يشير المؤلفون إلى:

‘أنه من المعروف أن طرق تلوين الصور تعمل على إطارات فردية باستخدام نماذج ثنائية الأبعاد بدون نمذجة زمنية، وبالتالي تفشل في الحفاظ على الاتساق الزمني في مقاطع الفيديو.

طرق تلوين الفيديو الحديثة لا تمodel بشكل صريح تأثيرات جانبية للكائنات، مما يؤدي إلى نتائج إزالة غير طبيعية. طرق إزالة الكائنات من الفيديو الحالية تفتقر إلى نمذجة الارتباط المكاني الزمني بين الكائن والآثار الجانبية، وبالتالي غالبًا ما تنتج آثارًا وآثارًا متبقية للكائنات المزالة.

‘بشكل عام، يحقق EffectErase أداءً على مستوى الدولة عبر جميع المجموعات والمتغيرات. يحصل على أفضل النتائج في مقياس جودة الفيديو FVD، مما يظهر تفوقه في الاتساق الزمني والاتساق للفيديوهات المولدة.

‘أسلوبنا يحقق أيضًا أعلى درجة QScore وتقييمات المستخدم، مما يؤكد فعالية إنتاج نتائج إزالة مقنعة بصريًا.’

للتقييم النوعي، يتم تقديم نتائج ثابتة في الورقة (معروضة مباشرة أدناه)، بالإضافة إلى نتائج متحركة متاحة على موقع المشروع ومقطع الفيديو على يوتيوب المضمن في نهاية هذا المقال:

مقارنة نوعية على VOR-Eval عبر الحجب والظلال والإضاءة والانعكاسات والتشويه. طرق التلوين تتعثر في إزالة التأثيرات خارج Масك، بينما غالبًا ما تترك طرق الإزالة آثارًا مرئية. EffectErase يزيل الكائنات المستهدفة وتأثيراتها المرتبطة بشكل أنظف. يرجى الرجوع إلى الورقة الأصلية للحصول على دقة أفضل، وموقع المشروع لمقاطع فيديو أمثلة.

نحن نشير أيضًا إلى أمثلة متنوعة على موقع المشروع، معروضة أدناه، بالإضافة إلى مقطع الفيديو على يوتيوب الرسمي المضمن في نهاية هذا المقال:

انقر للتشغيل. مقارنة عينة من موقع EffectErase. يرجى الرجوع إلى الموقع للحصول على دقة أفضل ومزيد من الأمثلة.

يشير المؤلفون إلى:

‘غالبًا ما تنتج طرق تلوين الفيديو آثارًا في المناطق المخفيّة ويفشل في إزالة التأثيرات الجانبية完全ًا التي تسببها الكائنات المزالة. نهج إزالة الكائنات السابقة، مثل ROSE و MiniMax-Remover، يؤدّي جيدًا في إزالة الكائنات المستهدفة، لكنه ما زال يعاني من التأثيرات الجانبية، خاصة في السيناريوهات المتعلقة بالحجب والظلال والإضاءة والانعكاسات والتشويه.

‘في المقابل، يزيل EffectErase الكائنات المستهدفة وتأثيراتها المرتبطة بشكل فعال، مما يؤدي إلى نتائج نظيفة ومتسقة وذات جودة عالية.’

في الختام، يشير الباحثون إلى أن طريقة EffectErase يمكن تعديلها لتحقيق مهمة الإدراج بدلاً من الإزالة، دون الحاجة إلى تدريب إضافي:

نتائج إدراج الكائنات في الفيديو. EffectErase يدرج الكائنات مع الحفاظ على المحتوى الخلفي وتوليد تأثيرات متسقة مثل الظلال والانعكاسات عبر الإطارات.

يمكن مشاهدة نتائج الفيديو لمهمة الإدراج في مقطع الفيديو على يوتيوب (مضمن بدون توقيتات في نهاية المقال).

الاستنتاج

ينظر إلى مشاريع مماثلة عبر الأدب العلمي، ويبدو أن العديد منها ما زال يأمل في أن يتمكن النماذج العامة للتأثيرات البصرية من دمج هذه الوظيفة في نهاية المطاف في “أداة” عامة مصممة لمجموعة من التأثيرات، بدلاً من هذه المهمة المحددة.

ومع ذلك، وفقًا لمبدأ “الجيد في كل شيء”، يبدو من المعقول افتراض أن الأنظمة المخصصة مثل EffectErase سوف تواصل الحفاظ على حافة على النهج الأكثر عمومية؛ مع تحفيز أن الفجوة قد تقل في النهاية إلى حد يجعلهم لا يستحقون الجهد الإضافي لتدريب نموذج منفصل.

* يجب أن نأمل، مع تزايد المخاوف حول قضايا براءة اختراع المصدر، أن يتم الاستشهار بجميع هذه المصادر؛ ولكن إذا كانت المواد المتاحة من العمل الجديد تُظهر مصدر النماذج ثلاثية الأبعاد، لم أتمكن من العثور على هذا المرجع.

^† المرجع المقدم يبدو أنه نص توضيحي عام من عام 2013، مع عدم تحديد VAE المحدد.

^†† مأخوذ من الورقة، هذا هو وصف غير واضح семантиًا، لأن التعديل الدقيق و LoRA هما عمليتان مختلفتان مع متطلبات مختلفة جدًا.

نشر لأول مرة يوم السبت، 21 مارس 2026