نموذج Segment Anything – تعزيز الرؤية الحاسوبية بشكل كبير

Reached الرؤية الحاسوبية (CV) 99٪ دقة من 50٪ في غضون 10 سنوات. ومن المتوقع أن تتحسن التكنولوجيا بشكل أكبر إلى مستوى غير مسبوق مع الخوارزميات الحديثة وتقنيات تقسيم الصور. مؤخرًا ، أصدر مختبر Meta’s FAIR نموذج Segment Anything (SAM) – محول لعبة في تقسيم الصور. يمكن لهذا النموذج المتقدم إنتاج قناع كائن مفصل من الدفعات الإدخال ، مما يرفع الرؤية الحاسوبية إلى أوجه جديدة. يمكن أن يثور في كيفية تفاعلنا مع التكنولوجيا الرقمية في هذا العصر.

دعونا نستكشف تقسيم الصور ونكشف بسرعة كيف يؤثر SAM على الرؤية الحاسوبية.

ما هو تقسيم الصور وأيضًا أنواعه؟

تقسيم الصور هو عملية في الرؤية الحاسوبية التي تقسم الصورة إلى مناطق أو أقسام متعددة ، كل منها يمثل كائنًا أو منطقة مختلفة من الصورة. هذا النهج يسمح الخبراء بالعزل النوعي لأجزاء معينة من الصورة للحصول على تفاصيل ذات مغزى.

النماذج المدربة على تحسين الإخراج من خلال التعرف على تفاصيل الصورة المهمة وتقليل التعقيد. هذه الخوارزميات تفرق بشكل فعال بين مناطق مختلفة من الصورة بناءً على الميزات مثل اللون والنسيج والتعارض والظلال والهوامش.

من خلال تقسيم الصورة ، يمكننا التركيز في تحليلنا على المناطق ذات الصلة للحصول على تفاصيل ذات مغزى. فيما يلي تقنيات تقسيم الصور المختلفة.

• التقسيم الدلالي يتضمن وضع علامات على البكسل في الفئات الدلالية.
• تقسيم الحالات يذهب إلى أبعد من ذلك من خلال الكشف عن كل كائن في الصورة وتحديده.
• تقسيم بانوبتيك يخصص معرّفات مثيل فريدة من نوعها لبكسل الكائنات الفردية ، مما يؤدي إلى وضع علامات أكثر شمولاً وسياقًا لجميع الكائنات في الصورة.

يتم تنفيذ التقسيم باستخدام نماذج التعلم العميق المعتمدة على الصور. هذه النماذج تجمع جميع النقاط والسمات القيمة من مجموعة التدريب. ثم ، تحول هذه البيانات إلى متجهات ومتحولات لفهم السمات المعقدة. بعض النماذج الشائعة للتعلم العميق التي تقف وراء تقسيم الصور هي:

• شبكات العصبية التلافيفية (CNNs)
• شبكات الاتصال الكامل (FCNs)
• شبكات العصبية المتكررة (RNNs)

كيف يعمل تقسيم الصور؟

في الرؤية الحاسوبية ، تتكون معظم نماذج تقسيم الصور من شبكة التشفير والفك التشفير. يقوم التشفير بتشفير تمثيل الفضاء الخفي للبيانات الإدخالية التي يقوم الفك التشفير بفك تشفيرها لتشكيل خرائط التقسيم ، أو بعبارة أخرى ، خرائط تحدد موقع كل كائن في الصورة.

عادةً ما يتكون عملية التقسيم من 3 مراحل:

• مُشفر الصورة الذي يحول الصورة الإدخالية إلى نموذج رياضي (متجهات ومتحولات) للمعالجة.
• يجمع المشفر المتجهات على مستويات متعددة.
• مُشفر قناع سريع يأخذ تضمينات الصورة كمدخلات ويُنتج قناعًا يحدد الكائنات المختلفة في الصورة بشكل منفصل.

حالة تقسيم الصور

بدءًا من عام 2014 ، ظهرت موجة من خوارزميات التقسيم المعتمدة على التعلم العميق ، مثل CNN+CRF و FCN ، والتي أحرزت تقدمًا كبيرًا في المجال. في عام 2015 ، شهدت صعود U-Net و Deconvolution Network ، مما يحسن دقة نتائج التقسيم.

ثم في عام 2016 ، تحسنت دقة وسرعة التقسيم من خلال التقسيم المتعرف على الحالات ، و V-Net ، و RefineNet. في عام 2017 ، أدخلت Mark-RCNN و FC-DenseNet الكشف عن الكائنات والتنبؤ الكثيف إلى مهام التقسيم.

في عام 2018 ، كانت التقسيم البانوبتيكي ، و Mask-Lab ، و Context Encoding Networks في مركز المشهد ، حيث تعاملت هذه المناهج مع الحاجة إلى تقسيم على مستوى المثيل. في عام 2019 ، أدخلت Panoptic FPN و HRNet و Criss-Cross Attention مناهج جديدة لتقسيم على مستوى المثيل.

في عام 2020 ، استمر الاتجاه مع إدخال Detecto RS و Panoptic DeepLab و PolarMask و CenterMask و DC-NAS و Efficient Net + NAS-FPN. وأخيرًا ، في عام 2023 ، لدينا SAM ، الذي سنناقشه بعد ذلك.

نموذج Segment Anything (SAM) – التقسيم العام للصور

مصدر الصورة

نموذج Segment Anything (SAM) هو نهج جديد يمكنه أداء مهام التقسيم التفاعلية والآلية في نموذج واحد. في السابق ، سمح التقسيم التفاعلي بتقسيم أي فئة كائن ، ولكنه يتطلب شخصًا لتحديد الطريقة من خلال تحسين قناع بشكل متكرر.

التنبؤ الآلي في SAM يسمح بتقسيم فئات الكائنات المحددة مسبقًا. واجهة SAM القابلة للترويج تجعلها مرنة للغاية. ونتيجة لذلك ، يمكن أن يعالج SAM مجموعة واسعة من مهام التقسيم باستخدام ترويج مناسب ، مثل النقرات والصناديق والنص ، إلخ.

يتم تدريب SAM على مجموعة بيانات متنوعة وبارعة تضم أكثر من مليار قناع ، مما يجعله قادرًا على التعرف على كائنات جديدة وصور غير متاحة في مجموعة التدريب. هذا الإطار الحديث سوف يثور في نماذج CV في التطبيقات مثل السيارات ذاتية القيادة والأمان والواقع المعزز.

يمكن لـ SAM الكشف عن الكائنات وتنقسم حول السيارة في السيارات ذاتية القيادة ، مثل المركبات الأخرى والمشاة وإشارات المرور. في الواقع المعزز ، يمكن لـ SAM تقسيم البيئة الحقيقية لوضع الكائنات الافتراضية في مواقع مناسبة ، مما يخلق تجربة مستخدم أكثر واقعية ومتعة.

تحديات تقسيم الصور في 2023

الابحاث والتنمية المتزايدة في تقسيم الصور تجلب أيضًا تحديات كبيرة. بعض أبرز تحديات تقسيم الصور في 2023 تشمل ما يلي:

• زيادة تعقيد مجموعات البيانات ، خاصة لتقسيم الصور ثلاثية الأبعاد
• تطوير نماذج التعلم العميق القابلة للتفسير
• استخدام نماذج التعلم غير المشرع التي تقلل من التدخل البشري
• الحاجة إلى نماذج في الوقت الفعلي وذاكرة كفء
• إزالة عالق السحابة ثلاثية الأبعاد

مستقبل الرؤية الحاسوبية

الأسواق العالمية للرؤية الحاسوبية تؤثر على العديد من الصناعات ومن المتوقع أن تصل إلى أكثر من $41 مليار دولار في عام 2030. تقنيات تقسيم الصور الحديثة مثل نموذج Segment Anything ، بالإضافة إلى خوارزميات التعلم العميق الأخرى ، ستعزز من بنية الرؤية الحاسوبية في المناظر الرقمية. وبالتالي ، سنرى نماذج الرؤية الحاسوبية الأكثر متانة وتطبيقات ذكية في المستقبل.

لمعرفة المزيد عن الذكاء الاصطناعي والتعلم الآلي ، استكشف Unite.ai – حلولك الشاملة لجميع استفساراتك حول التكنولوجيا وحالتها الحديثة.