نموذج Segment Anything – تعزيز الرؤية الحاسوبية بشكل كبير

ارتفعت دقة الرؤية الحاسوبية (CV) من 50٪ إلى 99٪ خلال 10 سنوات. ومن المتوقع أن تتحسن التكنولوجيا بشكل أكبر إلى مستوى غير مسبوق مع الخوارزميات الحديثة وتقنيات تقسيم الصور. مؤخرًا ، أصدر مختبر FAIR التابع لشركة Meta نموذج Segment Anything (SAM)، الذي يمثل نقلة نوعية في تقسيم الصور. يمكن لهذا النموذج المتقدم إنتاج أقنعة مفصلة للكائنات انطلاقًا من التعليمات المدخلة ، مما يرفع الرؤية الحاسوبية إلى آفاق جديدة. يمكن أن يحدث ثورة في كيفية تفاعلنا مع التكنولوجيا الرقمية في هذا العصر.

دعونا نستكشف تقسيم الصور ونكشف بسرعة كيف يؤثر SAM على الرؤية الحاسوبية.

ما هو تقسيم الصور وأيضًا أنواعه؟

تقسيم الصور هو عملية في الرؤية الحاسوبية التي تقسم الصورة إلى مناطق أو أقسام متعددة ، كل منها يمثل كائنًا أو منطقة مختلفة من الصورة. هذا النهج يسمح للخبراء بعزل لأجزاء معينة من الصورة للحصول على تفاصيل ذات مغزى.

تُدرَّب نماذج تقسيم الصور لتحسين المخرجات من خلال التعرف على تفاصيل الصورة المهمة وتقليل التعقيد. هذه الخوارزميات تفرق بشكل فعال بين مناطق مختلفة من الصورة بناءً على الميزات مثل اللون والملمس والتباين والظلال والحواف.

من خلال تقسيم الصورة ، يمكننا التركيز في تحليلنا على المناطق ذات الصلة للحصول على تفاصيل ذات مغزى. فيما يلي تقنيات تقسيم الصور المختلفة.

• التقسيم الدلالي يتضمن وضع علامات على البكسل في الفئات الدلالية.
• تقسيم الحالات يذهب إلى أبعد من ذلك من خلال الكشف عن كل كائن في الصورة وتحديده.
• تقسيم بانوبتيك يخصص معرّفات مثيل فريدة من نوعها لبكسل الكائنات الفردية ، مما يؤدي إلى وضع علامات أكثر شمولاً وسياقًا لجميع الكائنات في الصورة.

يتم تنفيذ التقسيم باستخدام نماذج التعلم العميق المعتمدة على الصور. هذه النماذج تجمع جميع النقاط والسمات القيمة من مجموعة التدريب. ثم ، تحول هذه البيانات إلى متجهات ومصفوفات لفهم السمات المعقدة. بعض النماذج الشائعة للتعلم العميق التي تقف وراء تقسيم الصور هي:

• الشبكات العصبية التلافيفية (CNNs)
• شبكات الاتصال الكامل (FCNs)
• الشبكات العصبية المتكررة (RNNs)

كيف يعمل تقسيم الصور؟

في الرؤية الحاسوبية ، تتكون معظم نماذج تقسيم الصور من شبكة تتكون من مُشفِّر وفاكّ تشفير. ينشئ المُشفِّر تمثيلًا للبيانات المدخلة في الفضاء الكامن، ثم يفكّ فاكّ التشفير هذا التمثيل لتشكيل خرائط التقسيم ، أو بعبارة أخرى ، خرائط تحدد موقع كل كائن في الصورة.

عادةً ما تتكون عملية التقسيم من 3 مراحل:

• مُشفر الصورة الذي يحول الصورة الإدخالية إلى نموذج رياضي (متجهات ومصفوفات) للمعالجة.
• يجمع المشفر المتجهات على مستويات متعددة.
• فاكّ تشفير سريع للأقنعة يأخذ تضمينات الصورة كمدخلات ويُنتج قناعًا يحدد الكائنات المختلفة في الصورة بشكل منفصل.

حالة تقسيم الصور

بدءًا من عام 2014 ، ظهرت موجة من خوارزميات التقسيم المعتمدة على التعلم العميق ، مثل CNN+CRF و FCN ، والتي أحرزت تقدمًا كبيرًا في المجال. في عام 2015 ، شهدت صعود U-Net و Deconvolution Network ، مما حسّن دقة نتائج التقسيم.

ثم في عام 2016 ، تحسنت دقة وسرعة التقسيم من خلال التقسيم المتعرف على الحالات ، و V-Net ، و RefineNet. في عام 2017 ، أدخلت Mark-RCNN و FC-DenseNet الكشف عن الكائنات والتنبؤ الكثيف إلى مهام التقسيم.

في عام 2018 ، كانت التقسيم البانوبتيكي ، و Mask-Lab ، و Context Encoding Networks في مركز المشهد ، حيث تعاملت هذه المناهج مع الحاجة إلى تقسيم على مستوى المثيل. في عام 2019 ، أدخلت Panoptic FPN و HRNet و Criss-Cross Attention مناهج جديدة لتقسيم على مستوى المثيل.

في عام 2020 ، استمر الاتجاه مع إدخال Detecto RS و Panoptic DeepLab و PolarMask و CenterMask و DC-NAS و Efficient Net + NAS-FPN. وأخيرًا ، في عام 2023 ، لدينا SAM ، الذي سنناقشه بعد ذلك.

نموذج Segment Anything (SAM) – التقسيم العام للصور

مصدر الصورة

نموذج Segment Anything (SAM) هو نهج جديد يمكنه أداء مهام التقسيم التفاعلية والآلية في نموذج واحد. في السابق ، سمح التقسيم التفاعلي بتقسيم أي فئة كائن ، ولكنه يتطلب شخصًا لتحديد الطريقة من خلال تحسين قناع بشكل متكرر.

التقسيم الآلي في SAM يسمح بتقسيم فئات الكائنات المحددة مسبقًا. واجهة SAM التي تقبل التعليمات تجعله مرنًا للغاية. ونتيجة لذلك ، يمكن أن يعالج SAM مجموعة واسعة من مهام التقسيم باستخدام تعليمات مناسبة، مثل النقرات والمربعات المحيطة والنص ، إلخ.

يتم تدريب SAM على مجموعة بيانات متنوعة وغنية بالمعلومات تضم أكثر من مليار قناع ، مما يجعله قادرًا على التعرف على كائنات جديدة وصور غير متاحة في مجموعة التدريب. سيحدث هذا الإطار الحديث ثورة واسعة في نماذج الرؤية الحاسوبية في التطبيقات مثل السيارات ذاتية القيادة والأمان والواقع المعزز.

يمكن لـ SAM اكتشاف الكائنات المحيطة بالسيارة وتقسيمها في السيارات ذاتية القيادة ، مثل المركبات الأخرى والمشاة وإشارات المرور. في الواقع المعزز ، يمكن لـ SAM تقسيم البيئة الحقيقية لوضع الكائنات الافتراضية في مواقع مناسبة ، مما يخلق تجربة مستخدم أكثر واقعية ومتعة.

تحديات تقسيم الصور في 2023

الابحاث والتنمية المتزايدة في تقسيم الصور تجلب أيضًا تحديات كبيرة. بعض أبرز تحديات تقسيم الصور في 2023 تشمل ما يلي:

• زيادة تعقيد مجموعات البيانات ، خاصة لتقسيم الصور ثلاثية الأبعاد
• تطوير نماذج التعلم العميق القابلة للتفسير
• استخدام نماذج التعلم غير الخاضع للإشراف التي تقلل من التدخل البشري
• الحاجة إلى نماذج تعمل في الوقت الفعلي وتستخدم الذاكرة بكفاءة
• إزالة الاختناقات في تقسيم سحب النقاط ثلاثية الأبعاد

مستقبل الرؤية الحاسوبية

السوق العالمية لـالرؤية الحاسوبية تؤثر على العديد من الصناعات ومن المتوقع أن تصل إلى أكثر من 41 مليار دولار في عام 2030. تقنيات تقسيم الصور الحديثة مثل نموذج Segment Anything ، بالإضافة إلى خوارزميات التعلم العميق الأخرى ، ستعزز من بنية الرؤية الحاسوبية في البيئة الرقمية. وبالتالي ، سنرى نماذج الرؤية الحاسوبية الأكثر متانة وتطبيقات ذكية في المستقبل.

لمعرفة المزيد عن الذكاء الاصطناعي والتعلم الآلي ، استكشف Unite.ai – حلولك الشاملة لجميع استفساراتك حول التكنولوجيا وحالتها الحديثة.