تحسين إزالة خلفية الذكاء الاصطناعي بدون تعليم بشري مكلف

أظهرت الأبحاث الجديدة أن الذكاء الاصطناعي يمكن أن يزيل الأشخاص من الفيديو بدون تعليم بشري مكلف، مما يحسن الجودة والاستقرار

معظمنا قد خاض تجربة التحرك في خلفية من خلال مرشحات تغيير الخلفية البسيطة على منصات الدردشة المرئية – وقد لاحظنا قيود هذه الأنظمة، التي يتم تدريبها على أكثر الحالات شيوعًا التي يمكن العثور عليها في مؤتمر فيديو، ولا تكون عادة قوية بما يكفي لمواجهة الأشياء “غير المتوقعة” – أو حتى الأشياء “المتوقعة”، مثل الأصابع:

مثال نمطي لنظام استخراج خلفية مدرب على الذكاء الاصطناعي يزيل الكثير من موضوع المصدر. مصدر

أسهل حل، وهو ما يزداد شعبية في مواجهة نماذج اللغة والرؤية (VLMs) التي لا يتم تدريبها بشكل خاص على هذه المهام، هو تحسين نموذج موجود على بيانات من المحتمل أن يتعامل معها النظام:

سادتان كبيرتان ومفصلتان للغاية تؤسس للحلول المقدمة في ورقة 2020 بعنوان “تخفيض خلفية زمني عالي الدقة في الوقت الفعلي”. مصدر

然而، يجب تعليم هذه البيانات، عند بعض النفقات المالية والوقت، بواسطة البشر؛ وفي أي حال، يؤدي ذلك إلى أداة محددة للغاية وغير عامة، تكلفتها عالية، ولا يمكن استخدامها عادة لمجموعة واسعة من المهام.

على الرغم من ذلك، فإن تطوير نماذج “مستهدفة” من هذا النوع هو حاليًا أقصر طريق للاستدلال الفعال في مجموعة متنوعة من المجالات، وليس فقط في تخفيض الصور والفيديو (أي إزالة الخلفية / ماسك أمامي).

حتى الآن، على الرغم من انتشار مرشحات الذكاء الاصطناعي في منصات مثل Zoom، لا يزال Zoom يوصي بشاشة خضراء كأفضل حل لإزالة الخلفية – وهو حل مرهق ومحترف بعض الشيء، قد يجعل معظمنا يشعر بالخجل.

إزالة الخلفية!

لately، ازداد الاهتمام باستخدام عائلة Segment Anything (SAM) لتوفير استخراج تلقائي ودقيق:

انقر للتشغيل إذا لزم الأمر. مثال على الحواف الخشنة التي tạoها نموذج Segment Anything – مثالي للتعليم، ولكن ليس جيدًا بما يكفي لتقنيات التأثيرات البصرية.مصدر 

قدم عرض جديد من الصين طريقة أكثر تعقيدًا لاستخدام نماذج SAM للحصول على عمليات استخراج أفضل – من خلال ربط متعقب أساسي مثل SAM مع جسر مقترح المنطقة مخصص مع رؤوس ماسك مخصصة. بهذه الطريقة، يمكن للنظام تحسين تفاصيل الحواف بشكل متكرر و حل الحواف الصعبة، مثل الشعر في الحركة:

انقر للتشغيل إذا لزم الأمر. من الموقع الداعم للورقة الجديدة، مزيج من مقاطع الفيديو الإضافية، التي تظهر تعقيد طريقة المؤلفين للاستخراج.مصدر 

من المهم، أن النظام الجديد يتدرب فقط على الصور، وليس على الفيديو، ويتطلب تعليمًا بشريًا إضافيًا – العائق التقليدي ضد التقدم في هذا المجال، والمجالات الأخرى المتعددة.

أمثلة على ماسك الصور والفيديو الدقيق الذي تم إنجازه باستخدام الطريقة الجديدة، مع حالات صعبة مثل الشعر والشفافية والحركة، إلى جانب تسلسلات في البرية، حيث ينتج النظام – كما يزعم المؤلفون – نتائج أكثر نظافة وثباتًا من النهج السابقة. مصدر

مع ثلاث نماذج تجريبية تم إنتاجها للعمل، يزعم المؤلفون أداءًا جديدًا على مستوى الدولة في هذه المهمة، مع الحفاظ على قدرات التعميم الأعلى للنموذج الأساسي، مما يعني أن الطريقة تنتج نموذجًا عامًا مع قدرات إضافية، وليس أداة محددة موجهة إلى مهمة واحدة.

يصر المؤلفون على ما يلي:

‘تظهر التجارب الشاملة أن SAM2Matting يتحقق من أداء على مستوى الدولة (SOTA) على ماسك الصور والفيديو، مع تقييم ماسك الفيديو بطريقة صارمة من عدم وجود إطلاق نار.

‘تظهر النتائج الشاملة في البرية أيضًا قوة التعميم للسيناريوهات المفتوحة مع حركة سريعة، وخلفيات معقدة، ومرفقات الهدف (مثل رجل يركب دراجة).

‘علاوة على ذلك، فإن مكونات الماسك الخاصة بنا خفيفة وفعاله، مما يسمح لسام 2.1-تيني بالتشغيل عند 40 إطارًا في الثانية على فيديو 1080p يحتوي على 200 إطار، باستخدام أقل من 5 جيجابايت من ذاكرة GPU.’

الورقة الجديدة بعنوان SAM2Matting: ماسك الصور والفيديو العام، وهي من أربعة مؤلفين من جامعة فودان وجامعة شنغهاي لل经济 والمالية. العمل له مستودع جيثب، الذي أصدر في وقت كتابة هذه السطور نقاط تحقق لمتغيرات مختلفة، ورمز الاستدلال، وديمو تفاعلي، مع وعد بإصدار رمز التدريب. بالإضافة إلى ذلك، هناك موقع مشروع.

الطريقة

ينفصل نظام المؤلفين التتبع عن استخراج التفاصيل الدقيقة باستخدام متعقب تجزئة كائن الفيديو (VOS) لإنتاج قناع خشن متسق زمنيًا لكل إطار، بينما يركز خط أنابيب الماسك على تحسين الحواف:

نظرة عامة على الأنابيب، حيث يتم تغذية سؤال مرن ومدخلات الفيديو إلى متعقب تجزئة كائن الفيديو لإنتاج قناع خشن، الذي يتم رَفِّنه بواسطة كاشف منطقة الاهتمام (ROI) ويتم تحويله إلى خريطة ثلاثية المناطق قبل أن يولد معادل توقع ألفا متقدم متعدد الحجم القناع النهائي عالي الدقة.

ثم يعرف كاشف منطقة الاهتمام (ROI) المناطق التي تحتوي على تفاصيل دقيقة أو شبه شفافة، ويحولها إلى خريطة ثلاثية المناطق (قناع ثلاثي المناطق يقسم الخلفية والمنطقة غير المؤكدة) التي توجيه التحسين، بعد ذلك يولد معادل توقع ألفا تقدمي القناع النهائي من خلال تسلسل خشن إلى دقيق عبر عدة مقاييس

النظم التقليدية للماسك عادة ما تشتق مناطق الاهتمام باستخدام عمليات مورفولوجية بسيطة، أو عن طريق إعادة استخدام القناع مباشرة – نهج يمكن أن يتجاهل التفاصيل الدقيقة، أو يشمل مناطق لا تتطلب تحسينًا:

مقارنة بين معالجة القناع القياسية مع خريطة ثلاثية المناطق الحقيقية، حيث تنتج العمليات المورفولوجية البسيطة حدودًا خشنة وموحدة تفقد الهياكل الدقيقة مثل الشعر والشفافية، مما يؤدي إلى فقدان التفاصيل في القناع النهائي.

فائدة مركبة

على العكس من ذلك، يعامل كاشف منطقة الاهتمام المقترح هذه الخطوة كمهام تصنيف 像-نقطة (أي، يعامل كل نقطة فردية في الصورة كdecision منفصلة، ويخصص لها علامة بناءً على ما إذا كانت تنتمي إلى منطقة حرجة للماسك أم لا).

في النهج الجديد، يتم تحويل المنطقة المقدرة أولاً إلى خريطة ثلاثية المناطق الزائفة التي تفصل الخلفية والمنطقة الأمامية غير المؤكدة، باستخدام قناع المتابعة لتخصيص المناطق المعروفة ووضع علامة على منطقة الاهتمام على أنها غير محددة، بحيث يمكن التركيز على الحواف التي يجب حلها:

ثم يتم التعامل مع التحسين بواسطة معادل توقع ألفا تقدمي الذي يعامل الماسك كعملية خطوة بخطوة، حيث يتم تمرير النتائج الوسيطة من المقاييس الخشنة إلى المقاييس الأصغر، مع استخدام كل مرحلة للصورة والخريطة ثلاثية المناطق والتقدير السابق لتحسين الهياكل بشكل متكرر و استعادة التفاصيل الدقيقة.

في المرحلة النهائية، يتم تحويل الإخراج عالي الدقة إلى قناع مكتمل، مما يسمح بتحديد الأشكال الواسعة في المراحل الأولى وتحسين العناصر الأكثر دقة مثل الشعر والشفافية في المراحل اللاحقة.

خلال التدريب، قام المؤلفون بتجميد متعقب VOS، بينما قام بتدريب مكونات الماسك فقط على بيانات الصور عالية الجودة – مما يسمح بتحسين التفاصيل الدقيقة دون المساس بثبات المتابعة. تم تطبيق الإشراف لكل إطار، مع استخراج مناطق الاهتمام من خريطة ألفا الحقيقية، وتم استخدامها لتوجيه التعلم، بينما تم تدريب كاشف منطقة الاهتمام مع خسائر مصممة لتشجيع تصنيف الحواف الدقيق وتقليل تشوهات الحواف.

للتخمين الألفا، تم تطبيق الخسائر عبر عدة مقاييس لتحسين التفاصيل بشكل متكرر، إلى جانب قيد إضافي يهدف إلى الحفاظ على القناع المتوقع موازيًا للقناع الأصلي – مما يساعد على الحفاظ على الهياكل و منع المناطق الفارغة أو المكسورة في الإخراج النهائي.

البيانات والاختبارات

تم استخدام ثمانية مجموعات بيانات ماسك الصور في البداية، للتحقق:

تم تطوير ثلاثة متغيرات من نهج “Sam2Matting” كمتعقب VOS، على التوالي باستخدام SAM2.1-Tiny؛ SAM2.1-Base+؛ ومفهوم SAM3. تم تجميد المكون المتابع، مع تحسين مكونات الماسك فقط. تم تدريب جميع الإصدارات لمدة خمس دورات عبر أربعة من وحدات معالجة الرسومات NVIDIA A6000 ، كل منها مع تخصيص 48 جيجابايت من VRAM. تم استخدام حجم الدفعة من 32، تحت تحسين AdamW. تم استخدام معايير مثل فرق المطلق المتوسط (MAD)؛ معدل مربع الخطأ (MSE)؛ التدرج (Grad)؛ الاتصال (Conn)؛ و dtSSD (للماسك الفيديو فقط).

الاختبارات الكمية

بدء المؤلفون بالاختبارات الكمية للنظام الجديد على ماسك الصور، باستخدام معايير P3M-500-NP؛ AM-2K (‘GFM’ في النتائج)؛ MAM (‘Matte Anything’ في النتائج)؛ E2E-HIM؛ Lightweight؛ و PPM-100 (‘MODNet’ في النتائج):

النتائج الكمية على معايير ماسك الصور عبر P3M-500-NP و AM-2K و PPM-100، مع قيم أقل تشير إلى أداء أفضل عبر جميع المعايير، ونتائج أفضل وثاني أفضل وثالث أفضل مُhighlighted باللون الأحمر والبرتقالي والأصفر على التوالي.

من هذه النتائج، تنص الورقة على ما يلي:

‘كما هو موضح أعلاه، جميع ثلاثة متغيرات من SAM2Matting تتفوق باستمرار على خطوط الأساس السابقة عبر معايير مختلفة. على سبيل المثال، يتحقق متغير SAM2.1-Tiny من فرق مطلق أقل بمقدار 11.48 من MAM على P3M-500-NP.’

يزعم المؤلفون أن النتائج عبر اللوحة تشير إلى أن نهجهم يحقق نتائج أفضل من خلال التصميم المفاهيمي الأساسي، وليس بسبب مستوى تعليم البيانات.

للماسك الفيديو، تم تقييم SAM2Matting على V-HIM60 و VideoMatte في إعداد بدون إطلاق نار، ضد أنظمة ماسك الفيديو المدربة على MatAnyone2 و MatAnyone و MaGGIe و FTP-VM و RVM، مع مكاسب متسقة عبر كل من التجزئة المتوسطة والصعبة.

عبر جميع المعايير، سجلت ثلاثة متغيرات أخطاء أقل في MAD و MSE و Grad و Conn و dtSSD، مع تحقيق SAM3 أقوى نتائج بشكل عام، بينما يشير أقل قيم dtSSD إلى استقرار إطار إلى إطار أكثر:

النتائج الكمية على معايير ماسك الفيديو عبر V-HIM60 و VideoMatte، مع تقييم في إعداد بدون إطلاق نار، مع أخطاء أقل عبر جميع المعايير، ونتائج أفضل وثاني أفضل وثالث أفضل مُhighlighted باللون الأحمر والبرتقالي والأصفر على التوالي.

يزعم المؤلفون أن هذه النتائج تعكس التصميم المنفصل، حيث يحافظ متعقب VOS على الهيكل الزمني، بينما تركز مكونات الماسك على تفاصيل الحواف، مما يسمح لنماذج مدربة على الصور بالتفوق على نهج الفيديو الخاضع للإشراف الكامل.

الاختبارات النوعية

للماسك البشري في الاختبارات النوعية، وجد المؤلفون أن Sam2Matting يتفوق على خطوط الأساس التنافسية:

مقارنة نوعية على ماسك الفيديو البشري وفي البرية، حيث يحافظ SAM2Matting على خيوط الشعر والمناطق الشفافة بدقة أكبر من RVM و MatAnyone، مع حدود أنظف وأقل هياكل مفقودة في المناطق الصعبة.

كما هو موضح أدناه، أنظمة ماسك الفيديو الحالية مثل MatAnyone2 و MaGGIe، التي تم تدريبها على مجموعات بيانات محددة وموجهة نحو البشر، عانت من-generalization إلى تسلسلات في البرية، خاصة عند التعامل مع مواضيع سريعة الحركة مثل الجذور النامية والفراشات الشفافة والماء الساقط بسرعة:

مقارنة نوعية على تسلسلات في البرية، حيث يحافظ SAM2Matting على هياكل دقيقة وثبات زمني بشكل أكثر فعالية من MatAnyone2 و MaGGIe، خاصة对于 مواضيع غير بشرية وحركة سريعة وعناصر شفافة مثل الماء والزجاج وأجنحة الحشرات.

على العكس من ذلك، أثبت SAM2Matting أنه قادر على الحفاظ على تتبع مستقر واستخراج تفاصيل دقيقة بشكل أكثر موثوقية في هذه السيناريوهات الصعبة.

أخيرًا، كما هو موضح في الشكل أدناه، يتعامل SAM2Matting بشكل فعال مع الأهداف ذات الأشياء المرفقة، مثل الأشخاص الذين يركبون الدراجات أو يحملون قضبان التزلج، مع كبت المشتتات الخلفية القريبة، مستفيدًا من قيد استمرار الماسك المذكور أعلاه.

مقارنة نوعية على تسلسلات مع أشياء مرفقة ومشتتات خلفية، حيث يحافظ SAM2Matting على هياكل مثل الدراجات والقضبان التزلج بدقة أكبر من MatAnyone2 مع الحفاظ على سيلهووت أنظف عبر الإطارات.

الخلاصة

النجاحات الموضحة في الورقة الجديدة تظهر مدى استمرار استخراج الخلفية، واحدة من المهام القديمة في رؤية الكمبيوتر، في المقاومة للنهج العامة. كما هو الحال مع نماذج الرؤية الأخرى، لا تزال مشكلة استخراج الخلفية تعتمد على المعرفة المجال بدلاً من التكيف بسهولة مع الأشياء غير المألوفة؛ هذه المهمة تضع ضغطًا على حدود التعميم للنموذج.

في حين أن العمل الجديد يrepresent خطوة إلى الأمام من هذا الاعتماد، لا يزال هناك طريق طويل للذهاب، بالنظر إلى مدى ارتباط هذه المهمة بحياتنا اليومية، من خلال منافذ الدردشة المرئية.

نشر لأول مرة يوم الإثنين، 13 يوليو 2026