زاوية Anderson

حذف الأشياء والأشخاص من الفيديو باستخدام الذكاء الاصطناعي

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
AI-generated stylized image depicting a magician robot showing an empty cabinet with a lady's tiara at the bottom. GPT-1.5
النقاط الرئيسيةيقدم EffectErase مجموعة بيانات جديدة وطريقة لإزالة الكائنات وتأثيراتها الثانوية مثل…
عرض المزيد
  • يقدم EffectErase مجموعة بيانات جديدة وطريقة لإزالة الكائنات وتأثيراتها الثانوية مثل الظلال من الفيديو.
  • يدرب النظام بشكل مشترك مهام الإزالة والإدراج للتركيز على المناطق المتأثرة نفسها لضمان الاتساق.
  • يتفوق EffectErase على الطرق السابقة من خلال نمذجة الروابط الزمكانية بين الكائنات وتأثيراتها الجانبية المرئية بشكل صريح.

لن يبقى الطفل في الصورة إذا كان للذكاء الاصطناعي رأي في الأمر.

 

تُعد إزالة الأشخاص والأشياء من الصور ومقاطع الفيديو مجالًا بحثيًا رائجًا في أبحاث الذكاء الاصطناعي المعنية بالتأثيرات البصرية، مع تزايد مجموعات البيانات وأطر العمل المخصصة لهذا التحدي. وأحدث الأمثلة، من معهد البيانات الضخمة بجامعة فودان في الصين، هو EffectErase، وهو نظام لإزالة الأشياء من الفيديو يراعي تأثيراتها في المشهد، ويقول مؤلفوه إنه يتفوق بوضوح على أفضل الأساليب الحالية في الاختبارات:

أمثلة على طريقة EffectErase جُمعت من مواد موقع المشروع. يُرجى الانتباه إلى أن الموقع الذي نوفر رابطه يحتوي على مقاطع فيديو كثيرة عالية الدقة وغير محسّنة تعمل تلقائيًا، وقد تؤثر في استقرار المتصفح. ويقدم فيديو يوتيوب المضمّن في نهاية المقال عرضًا أشمل وأسهل للمشاهدة.  المصدر

تضمن العمل الجديد إنشاء مجموعة بيانات وتجميعها، مع إنتاج جزء من محتواها خصيصًا للمشروع. وتضم ما يقارب 350 مشهدًا أصليًا حقيقيًا واصطناعيًا، إما صُوّرت بمعدات مخصصة أو جُمعت وأُعيد توظيفها ضمن سير عمل قائم على إطار Blender 3D مفتوح المصدر، بالاستعانة بمستودعات عامة*.

وتشكل مجموعة بيانات إزالة الأشياء من الفيديو (VOR)، التي تجمع بين التصوير الحقيقي والمشاهد الاصطناعية، أساس تطبيق EffectErase نفسه، المبني على نظام توليد الفيديو Wan2.1. ويحدد العمل أيضًا معياري تقييم جديدين مرتبطين به: VOR Eval و VOR Wild، للعينات التي تتوافر لها والتي لا تتوافر لها، على الترتيب، بيانات مرجعية صحيحة.

(مع أن للورقة البحثية موقعًا مرافقًا للمشروع، فإن كثرة مقاطع الفيديو عالية الدقة فيه تثقل تحميله. فإذا واجهت صعوبة في استخدامه، يمكنك الرجوع إلى المقتطفات التي جمعتها في الفيديو المضمّن أعلاه.)

مقارنة أحجام مجموعات البيانات السابقة المماثلة بمجموعة البيانات الجديدة. المصدر: https://arxiv.org/pdf/2603.19224

مقارنة أحجام مجموعات البيانات السابقة المماثلة بمجموعة البيانات الجديدة. المصدر

يقول الباحثون إن نهجهم يحقق أداءً يضاهي أفضل النتائج الحالية، سواء وفق المقاييس الكمية أو النتائج النوعية التي قيّمها أشخاص.

ويشيرون إلى أن الأعمال السابقة لم تنجح دائمًا في إزالة التأثيرات المصاحبة للأشياء، مثل الظلال والانعكاسات، وأن مجموعتهم أُعدّت بعناية لمعالجة هذا القصور:

أمثلة على إخفاق الأساليب السابقة في النظر إلى ما يتجاوز الشيء المراد إزالته، مثل الدلائل غير المباشرة المتمثلة في الانعكاسات والظلال.

أمثلة على إخفاق الأساليب السابقة في النظر إلى ما يتجاوز الشيء المراد إزالته، مثل الدلائل غير المباشرة المتمثلة في الانعكاسات والظلال.

الورقة البحثية الجديدة تحمل عنوان EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing، وأعدّها أربعة باحثين من كلية علوم الحاسوب والذكاء الاصطناعي بجامعة فودان.

الطريقة

صُممت مجموعة بيانات VOR التي تجمع بين المشاهد الحقيقية والاصطناعية لتغطي نطاقًا واسعًا بما يكفي لاستيعاب جميع الآثار المحتملة لمحاولة إزالة شخص أو شيء من فيديو:

توضح أزواج الإطارات من مجموعة VOR أن إزالة الأشياء يجب أن تشمل آثارها، لا العنصر المرئي وحده. وتعرض الأمثلة الحجب والظلال وتغيرات الإضاءة والانعكاسات والتشوه المادي، مع وضع المدخل الذي يظهر فيه الشيء بجوار الخلفية النظيفة المقابلة بعد إزالته.

توضح أزواج الإطارات من مجموعة VOR أن إزالة الأشياء يجب أن تشمل آثارها، لا العنصر المرئي وحده. وتعرض الأمثلة الحجب والظلال وتغيرات الإضاءة والانعكاسات والتشوه المادي، مع وضع المدخل الذي يظهر فيه الشيء بجوار الخلفية النظيفة المقابلة بعد إزالته. ولمزيد من الأمثلة، يمكن الرجوع إلى فيديو يوتيوب المضمّن في نهاية المقال.

حدد المؤلفون خمسة أنواع ممثلة من «التداخل» الذي ينبغي معالجته: الحجب، بما في ذلك أشكال الحجب المختلفة بالزجاج والدخان؛ الظلال؛ الإضاءة (مثل أن يكون الشيء المراد إزالته قد أنشأ مسارًا للضوء أو غيّره)؛ الانعكاسات؛ و التشوه (مثل أثر انضغاط يتركه شخص على وسادة، ولا ينبغي أن يبقى بعد إزالة الشخص).

سير إنشاء مجموعة VOR، الذي يجمع مشاهد اصطناعية مولّدة ببرنامج Blender مع لقطات حقيقية. تُبنى البيانات الاصطناعية من بيئات ثلاثية الأبعاد وأشياء ومسارات كاميرا منتقاة، وتُسجل اللقطات الحقيقية في مشاهد متنوعة، ثم تضاف إليها حركة Ken Burns. وبعد التقسيم باستخدام SAM2 والتنقيح اليدوي، تُنتج مجموعات ثلاثية متحاذية من فيديوهات المقدمة والخلفية والأقنعة المقابلة.

سير إنشاء مجموعة VOR، الذي يجمع مشاهد اصطناعية مولّدة ببرنامج Blender مع لقطات حقيقية. تُبنى البيانات الاصطناعية من بيئات ثلاثية الأبعاد وأشياء ومسارات كاميرا منتقاة، وتُسجل اللقطات الحقيقية في مشاهد متنوعة، ثم تضاف إليها حركة Ken Burns. وبعد التقسيم باستخدام SAM2 والتنقيح اليدوي، تُنتج مجموعات ثلاثية متحاذية من فيديوهات المقدمة والخلفية والأقنعة المقابلة.

لإنتاج البيانات الحقيقية الأصلية، استخدم الباحثون كاميرات ثابتة لتسجيل المشاهد مع وجود الشيء ومن دونه، في بيئات وأوقات من اليوم وأحوال جوية متنوعة.

أما البيانات الاصطناعية، فرُندرت من وجهات نظر متعددة، وأُنشئت مشاهد تضم أشياء متعددة، مع تضمين حركات كاميرا معقدة وصعبة عمدًا مما قد يحدث في التصوير الحقيقي. ويقول الباحثون إن هذا النهج أكثر تطورًا وأشد استهلاكًا للجهد من المستخدم في مجموعة البيانات المشابهة من جوانب أخرى Remove Objects with Side Effects in Videos (ROSE).

ولزيادة تنوع الحركة، طُبّق تأثير Ken Burns على أزواج اللقطات المصوّرة بالكاميرا. وأضيفت حركات مسح وتقريب وحركات طفيفة تحاكي التصوير باليد وفق 14 قاعدة محددة مسبقًا، مع أخذ خمسة أنماط للحركة لكل زوج، وإبقاء الاقتصاص داخل الإطار الأصلي.

وزيد الحجم والتنوع بدمج الأشياء الاصطناعية مع إعدادات متعددة للكاميرا. وأُنشئت الأقنعة بتحديد نقاط توجيه يدويًا على إطارات رئيسية، ثم نشر التقسيم باستخدام Segment Anything 2 (SAM2)، وتنظيف النتائج وتنقيحها، وتجميع ثلاثيات متحقَّق منها للمقدمة والخلفية والأقنعة من أجل التدريب.

تضم المجموعة النهائية 145 ساعة من الفيديو الحقيقي والاصطناعي موزعة على 60 ألف زوج من مقاطع الفيديو، وتشمل 366 فئة من الأشياء في 443 مشهدًا.

تستقبل شبكة EffectErase المواد عبر مُرمِّز تلقائي تغايري (VAE†)، ويتولى Wan2.1 إزالة الضوضاء من التمثيل الكامن. وفوق هذه البنية الأساسية، يضيف EffectErase ثلاثة مكونات: التعلم المشترك للإزالة والإدراج، الذي يدرب المهمتين معًا على المناطق نفسها؛ توجيه المناطق بحسب المهمة (TARG)، الذي يجمع رموز الأشياء والمهمة مع الانتباه المتقاطع لنمذجة الروابط المكانية والزمانية بين الأشياء وتأثيراتها، وإتاحة التبديل بين المهمتين؛ و دالة خسارة اتساق التأثيرات، التي تحاذي مناطق التأثير بين مهمتي الإزالة والإدراج:

مخطط إطار EffectErase. أثناء التدريب، تُرمّز أزواج الفيديوهات في فضاء كامن مشترك، وتُدمج مع الضوضاء، ويعالجها محوّل انتشار يوجّهه انتباه متقاطع مراعٍ للمهمة. وتحاذي دالة خسارة اتساق التأثيرات مناطق الإزالة والإدراج لتُركّز المهمتان على المنطقة نفسها.

مخطط إطار EffectErase. أثناء التدريب، تُرمّز أزواج الفيديوهات في فضاء كامن مشترك، وتُدمج مع الضوضاء، ويعالجها محوّل انتشار يوجّهه انتباه متقاطع مراعٍ للمهمة. وتحاذي دالة خسارة اتساق التأثيرات مناطق الإزالة والإدراج لتُركّز المهمتان على المنطقة نفسها.

تُدرَّب عمليتا الإزالة والإدراج معًا باستخدام بنية انتشار أساسية مشتركة، كي يتعلم النموذج التركيز على مناطق التأثير نفسها والإشارات البنيوية ذاتها.

أولًا، تُرمّز فيديوهات الشيء وفيديوهات الخلفية وحدها والأقنعة في فضاء كامن. ثم تضاف الضوضاء لتدريب الانتشار، ويتعلم النموذج استعادة التمثيلات النظيفة بتوجيه خاص بالمهمة. ويجمع مكيّف خفيف بين السمات المشوشة وشروط الإزالة أو الإدراج، ما يتيح للمهمتين مشاركة الإشراف التدريبي مع إبقاء كل منهما قابلة للتحكم.

توجيه المناطق بحسب المهمة ينشئ إشارة خاصة بالمهمة بدمج الرموز اللغوية مع السمات البصرية المستخرجة من الشيء في المقدمة بواسطة CLIP. ويستبدل رمز الشيء العام بتمثيل تضميني مشتق من المحتوى الفعلي للصورة. ويُمرَّر هذا التمثيل المركب إلى البنية الأساسية عبر الانتباه المتقاطع، لتتتبع كيفية تطور الشيء وتأثيراته البصرية في المكان والزمان، مع إتاحة التبديل المرن بين الإزالة والإدراج.

دالة خسارة اتساق التأثيرات تُلزم عمليتي الإزالة والإدراج بالتركيز على المناطق المتغيرة نفسها، لأنهما تتناولان الشيء ذاته وتأثيراته البصرية. تُدمج خرائط الانتباه من كل فرع في خرائط مناطق مرنة، وتُحاذى مع خريطة الفروق المحسوبة من فيديو الشيء وفيديو الخلفية، بحيث تُراعى التغيرات الدقيقة، مثل الإضاءة والظلال. وهذه الخسارة الإضافية تساعد مهمة الإدراج على توجيه مهمة الإزالة والحفاظ على اتساق المهمتين.

البيانات والاختبارات

اختبر الباحثون نهجهم بالمقارنة مع أساليب متعددة لاستكمال الصور والفيديوهات وإزالة الأشياء: OmniPaint؛ ObjectClear؛ VACE؛ DiffuEraser؛ ProPainter؛ ROSE؛ و MiniMax-Remover.

خضع Wan2.1 لضبط دقيق باستخدام LoRA†† ومجموعة بيانات VOR بدقة 832×480 بكسل. واختيرت عشوائيًا مقاطع من 81 إطارًا متتاليًا للتدريب (وهو الحد العملي لـWAN، الذي تميل الأخطاء إلى الظهور عند تجاوزه). واستمر التدريب 129 ألف تكرار، باستخدام حجم دفعة قدره 8، وثماني وحدات H100، لكل منها 80 غيغابايت من ذاكرة الفيديو. وضُبط معدل التعلم على 1×102، و رتبة LoRA على 256.

كانت مجموعة البيانات الاصطناعية ROSE-Benchmark المجموعة الخارجية الوحيدة المختبرة. أما المجموعتان الأخريان فهما VOR-Eval، وهي الجزء من مجموعة بيانات VOR المخصص للاختبار؛ وVOR-Wild، وهي مجموعة اختبار تضم 195 مقطع فيديو حقيقيًا جُمعت من الإنترنت وتظهر فيها «أشياء متحركة».

استُخدمت المقاييس التالية: نسبة ذروة الإشارة إلى الضوضاء (PSNR)؛ مؤشر التشابه البنيوي (SSIM)؛ التشابه الإدراكي المتعلَّم لرقع الصور (LPIPS)؛ و مسافة فريشيه للفيديو (FVD). وأُجريت أيضًا دراسة على المستخدمين شملت 195 فيديو مولّدًا من VOR-Wild، مع اعتماد متوسط تقييمات 20 متطوعًا.

وابتكر المؤلفون أيضًا QScore، وهو مقياس يستفيد من نموذج Qwen-VL متعدد الوسائط لتقييم جودة الفيديو بعد إزالة الأشياء، من حيث العيوب البصرية المتبقية أو التأثيرات البيئية التي لم تُزل، مثل الظلال وتأثيرات الإضاءة:

مقارنة كمية على معياري ROSE وVOR، مع إظهار أفضل النتائج بالخط العريض وثاني أفضل النتائج بخط سفلي.

مقارنة كمية على معياري ROSE وVOR، مع إظهار أفضل النتائج بالخط العريض وثاني أفضل النتائج بخط سفلي.

وعن هذه النتائج، يذكر المؤلفون:

«تعمل أساليب استكمال الصور [الحالية] على إطارات منفردة باستخدام نماذج ثنائية الأبعاد من دون نمذجة زمنية، ولذلك تعجز عن الحفاظ على الاتساق الزمني في الفيديوهات.

ولا تنمذج [أساليب] استكمال الفيديو الحديثة التأثيرات المصاحبة للأشياء صراحةً، فتنتج إزالة غير طبيعية. كما تفتقر [أساليب] إزالة الأشياء من الفيديو الحالية إلى نمذجة الارتباط المكاني والزماني بين الشيء وتأثيراته المصاحبة، ولذلك كثيرًا ما تنتج عيوبًا بصرية وآثارًا متبقية للأشياء المزالة.

«عمومًا، يحقق EffectErase أداءً يواكب أفضل النتائج الحالية عبر جميع مجموعات البيانات ومقاييس التقييم. ويحصل على أفضل درجات مقياس جودة الفيديو FVD، ما يوضح تفوق الفيديوهات المولّدة في السلاسة والاتساق عبر الزمن.

«وتحقق طريقتنا أيضًا أعلى درجات QScore وتقييمات المستخدمين، ما يبيّن مجددًا فعاليتها في إنتاج نتائج إزالة مقنعة بصريًا».

وللتقييم النوعي، تعرض الورقة نتائج ثابتة تظهر مباشرة أدناه، وتتوفر النتائج المتحركة على موقع المشروع وفي عرض الفيديو المصاحب على يوتيوب:

مقارنة نوعية على VOR-Eval لحالات الحجب والظلال والإضاءة والانعكاسات والتشوه. تجد أساليب الاستكمال صعوبة في إزالة التأثيرات خارج القناع، فيما كثيرًا ما تترك نماذج الإزالة عيوبًا مرئية. ويزيل EffectErase الأشياء المستهدفة وتأثيراتها المصاحبة بصورة أنظف. يُرجى الرجوع إلى الورقة الأصلية لدقة أعلى، وإلى موقع المشروع لأمثلة الفيديو.

مقارنة نوعية على VOR-Eval لحالات الحجب والظلال والإضاءة والانعكاسات والتشوه. تجد أساليب الاستكمال صعوبة في إزالة التأثيرات خارج القناع، فيما كثيرًا ما تترك نماذج الإزالة عيوبًا مرئية. ويزيل EffectErase الأشياء المستهدفة وتأثيراتها المصاحبة بصورة أنظف. يُرجى الرجوع إلى الورقة الأصلية لدقة أعلى، وإلى موقع المشروع لأمثلة الفيديو.

ونحيل القارئ أيضًا إلى أمثلة متنوعة ذات صلة على موقع المشروع، مع معاينة أدناه، وإلى فيديو يوتيوب الرسمي المضمّن في نهاية المقال:

انقر للتشغيل. مثال للمقارنة من موقع مشروع EffectErase. يُرجى الرجوع إلى الموقع لدقة أعلى (مع مراعاة التنبيهات السابقة) ولمزيد من الأمثلة.

ويعلّق المؤلفون:

«كثيرًا ما تنتج [أساليب] استكمال الفيديو عيوبًا بصرية داخل المناطق المحددة بالقناع، وتعجز عن إزالة التأثيرات المصاحبة التي تسببها الأشياء المزالة بالكامل. وتنجح أساليب إزالة الأشياء السابقة، مثل [ROSE] و[MinMax-Remover]، في إزالة الأشياء المستهدفة، لكنها لا تزال تواجه صعوبة في معالجة تأثيراتها، ولا سيما في حالات الحجب والظلال والإضاءة والانعكاسات والتشوه.

«في المقابل، يزيل EffectErase الأشياء المستهدفة وتأثيراتها المصاحبة بفعالية، لينتج مشاهد نظيفة ومتماسكة وعالية الجودة».

وفي الختام، يشير الباحثون إلى إمكان تكييف طريقتهم أيضًا لمهام الإدراج بدلًا من الإزالة، من دون حاجة إلى تدريب إضافي:

نتائج إدراج الأشياء في الفيديو. يدرج EffectErase الأشياء مع الحفاظ على محتوى الخلفية وتوليد تأثيرات تسببها الأشياء، مثل الظلال والانعكاسات، بصورة متسقة عبر الإطارات.

نتائج إدراج الأشياء في الفيديو. يدرج EffectErase الأشياء مع الحفاظ على محتوى الخلفية وتوليد تأثيرات تسببها الأشياء، مثل الظلال والانعكاسات، بصورة متسقة عبر الإطارات.

يمكن مشاهدة نتائج مهمة الإدراج في أمثلة فيديو يوتيوب المرتبط بتوقيت محدد، وهو مضمّن أيضًا من دون تحديد توقيت في نهاية المقال.

الخلاصة

تُظهر مراجعة المشاريع المماثلة في الأدبيات البحثية أن كثيرين لا يزالون يأملون في أن تتمكن نماذج التأثيرات البصرية العامة في نهاية المطاف من دمج هذه الوظيفة في نموذج عام يشبه «صندوق أدوات» لمجموعة من التأثيرات، بدلًا من الاقتصار على هذه المهمة المحددة.

لكن، انطلاقًا من فكرة أن تعدد المهارات قد يأتي على حساب التخصص، يبدو من المعقول افتراض أن الأنظمة المتخصصة مثل EffectErase ستحتفظ بأفضليتها على الأساليب الأعم. ويظل التحفظ أن الفجوة قد تضيق في النهاية إلى حد لا تعود معه هذه الأفضلية تستحق الجهد الإضافي اللازم لتدريب نموذج مستقل.

 

* مع تزايد القلق بشأن مصادر المواد وحقوق الملكية الفكرية، يُؤمَل ذكر جميع تلك المصادر. لكن إذا كانت المواد المتاحة عن البحث الجديد تتضمن مصدر النماذج ثلاثية الأبعاد، فلم أتمكن من العثور على هذه الإحالة.

† يبدو أن المرجع المقدَّم نص توضيحي عام من عام 2013، من دون تحديد نموذج VAE المستخدم.

†† هذا الوصف مأخوذ من الورقة، وهو غير واضح دلاليًا، لأن الضبط الدقيق وLoRA عمليتان مختلفتان لهما متطلبات متباينة جدًا.

نُشر أول مرة يوم السبت 21 مارس 2026 

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai