كشف النقاب عن SAM 2: قاعدة مفتوحة جديدة من ميتا للتمييز بين الأشياء في الفيديوهات والصور

في السنوات القليلة الماضية، شهد العالم المتقدم في مجال الذكاء الاصطناعي تقدمات ملحوظة في مجال معالجة النصوص، مع تقدمات تحولت الصناعات من خدمة العملاء إلى التحليل القانوني. ومع ذلك، عندما يتعلق الأمر بمعالجة الصور، نحن نلمس فقط سطح البيانات البصرية والتحديات التي تواجهها النماذج في تفسير وتحليل الصور بدقة. ومع استمرار الباحثين في استكشاف أسس الذكاء الاصطناعي لمعالجة الصور والفيديوهات، فإن مستقبل معالجة الصور في الذكاء الاصطناعي يحمل إمكانيات للابتكارات في مجالات مثل الرعاية الصحية والمركبات المستقلة وغيرها.

التمييز بين الأشياء، الذي يتضمن تحديد البكسل الدقيق في الصورة الذي يتوافق مع كائن معين، هو مهمة حرجة في رؤية الكمبيوتر. تقليدياً، كان هذا يتطلب إنشاء نماذج ذكاء اصطناعي متخصصة، والتي تتطلب بنية تحتية واسعة ونوعية كبيرة من البيانات المُعنونة. في العام الماضي، قدمت ميتا نموذج Segment Anything (SAM)، وهو نموذج أساسي للذكاء الاصطناعي يبسط هذه العملية من خلال السماح للمستخدمين بتمييز الصور باستخدام سؤال بسيط. هذا الابتكار قلل من الحاجة إلى خبرة متخصصة وموارد حاسوبية واسعة، مما جعل تمييز الصور أكثر سهولة.

الآن، تأخذ ميتا خطوة أخرى مع SAM 2. هذا الإصدار الجديد لا يزيد فقط من قدرات SAM الحالية في تمييز الصور، بل يمتد أيضًا إلى معالجة الفيديوهات. يمكن لـ SAM 2 تمييز أي كائن في الصور والفيديوهات، حتى تلك التي لم يتعرف عليها من قبل. هذا التقدم هو قفزة كبيرة في مجال رؤية الكمبيوتر ومعالجة الصور، مما يوفر أداة أكثر مرونة وقوة لتحليل المحتوى البصري. فيما يلي، نستكشف التطورات المثيرة لنموذج SAM 2 وإمكانياته لتحديد مجالات جديدة في مجالات متعددة.

كشف النقاب عن نموذج Segment Anything (SAM)

الطرق التقليدية للتمييز بين الأشياء تتطلب إما تعديل يدوي، المعروف باسم التمييز التفاعلي، أو بيانات مُعنونة واسعة للتمييز التلقائي إلى فئات محددة. SAM هو نموذج أساسي للذكاء الاصطناعي يدعم التمييز التفاعلي باستخدام أسئلة مرنة مثل النقرات أو الإدخالات النصية. يمكن أيضًا تعديله ببيانات و موارد حاسوبية محدودة للتمييز التلقائي. تم تدريبه على أكثر من مليار تعليق صورة متنوع، يمكن لـ SAM التعامل مع كائنات جديدة وصور بدون الحاجة إلى جمع بيانات مخصصة أو تعديل.

SAM يعمل مع مكونين رئيسيين: محول صورة يعالج الصورة ومحول سؤال يعالج الإدخالات مثل النقرات أو النص. هذه المكونات تتوحد مع محول خفيف لتنبؤ بمasks التمييز. بمجرد معالجة الصورة، يمكن لـ SAM إنشاء تمييز في غضون 50 مللي ثانية في متصفح الويب، مما يجعله أداة قوية للمهام التفاعلية في الوقت الفعلي. لإنشاء SAM، طور الباحثون عملية جمع بيانات ثلاثية: تعليم مساعد، مزيج من التعليم التلقائي والمساعد، وإنشاء masks تلقائي كامل. هذه العملية أدت إلى مجموعة بيانات SA-1B، التي تتضمن أكثر من 1.1 مليار masks على 11 مليون صورة مرخصة ومحافظة على الخصوصية— مما يجعلها 400 مرة أكبر من أي مجموعة بيانات موجودة. الأداء المذهل لـ SAM يأتي من هذه المجموعة الواسعة والمتنوعة من البيانات، مما يضمن تمثيلًا أفضل عبر مناطق جغرافية مختلفة مقارنة بالبيانات السابقة.

كشف النقاب عن SAM 2: قفزة من التمييز بين الصور إلى الفيديوهات

بناءً على أساس SAM، تم تصميم SAM 2 للتمييز بين الأشياء في الوقت الفعلي والقابل للتعديل في الصور والفيديوهات. على عكس SAM، الذي يركز فقط على الصور الثابتة، يعالج SAM 2 الفيديوهات من خلال معاملتها كجزء من تسلسل مستمر. هذا يسمح لـ SAM 2 بالتعامل مع المشاهد الديناميكية والتغييرات في المحتوى بشكل أكثر فعالية.对于 التمييز بين الصور، لا يزيد SAM 2 فقط من قدرات SAM، بل يعمل أيضًا ثلاث مرات أسرع في المهام التفاعلية.

SAM 2 يحتفظ بنفس الهيكل مثل SAM، ولكنه يقدم آلية ذاكرة لمعالجة الفيديوهات. هذه الميزة تسمح لـ SAM 2 بالاحتفاظ بمعلومات من الإطارات السابقة، مما يضمن تمييزًا مستمرًا للأشياء على الرغم من التغييرات في الحركة أو الإضاءة أو الغطاء. من خلال الرجوع إلى الإطارات السابقة، يمكن لـ SAM 2 تحسين تنبؤاته لمasks التمييز على مدار الفيديو.

النموذج مدرب على مجموعة بيانات جديدة، مجموعة بيانات SA-V، التي تتضمن أكثر من 600,000 تعليق masklet على 51,000 فيديو من 47 دولة. هذه المجموعة الواسعة تغطي كلاً من الأشياء الكاملة وأجزائها، مما يعزز دقة SAM 2 في تمييز الفيديوهات في العالم الحقيقي.

SAM 2 متاح كنموذج مفتوح المصدر تحت رخصة Apache 2.0، مما يجعله متاحًا لاستخدامات مختلفة. كما قدمت ميتا المجموعة البيانية المستخدمة ل SAM 2 تحت رخصة CC BY 4.0. بالإضافة إلى ذلك، هناك عرض تجريبي على الويب يسمح للمستخدمين باستكشاف النموذج ومشاهدة أدائه.

الحالات المحتملة للاستخدام

قدرات SAM 2 في التمييز بين الأشياء في الوقت الفعلي والقابل للتعديل في الصور والفيديوهات قد فتحت أبوابًا لابتكارات عديدة في مجالات مختلفة. على سبيل المثال، بعض هذه التطبيقات هي كما يلي:

• تشخيص الصحة: يمكن لـ SAM 2 تحسين المساعدة الجراحية في الوقت الفعلي من خلال تمييز الهياكل التشريحية وتحديد الشذوذ أثناء بث مباشر في غرفة العمليات. كما يمكنه تحسين تحليل التصوير الطبي من خلال تقديم تمييز دقيق للأعضاء أو الأورام في الفحوصات الطبية.
• المركبات المستقلة: يمكن لـ SAM 2 تحسين أنظمة المركبات المستقلة من خلال تحسين دقة الكشف عن الأشياء من خلال التمييز المستمر وتحديد الأشخاص والمركبات واللافتات على الطريق عبر إطارات الفيديو. كما يمكنه دعم أنظمة الملاحة التكيفية وتجنب الاصطدام من خلال التعرف على التغييرات البيئية في الوقت الفعلي.
• الوسائط التفاعلية والترفيه: يمكن لـ SAM 2 تحسين تطبيقات الواقع المعزز من خلال تمييز الأشياء بدقة في الوقت الفعلي، مما يسهل دمج العناصر الافتراضية مع العالم الحقيقي. كما يمكنه تحسين تحرير الفيديو من خلال تلقائي تمييز الأشياء في اللقطات، مما يبسط العمليات مثل إزالة الخلفية واستبدال الأشياء.
• مراقبة البيئة: يمكن لـ SAM 2 مساعدة أبحاث الحياة البرية من خلال تمييز وتحديد الحيوانات في مقاطع الفيديو، مما يدعم دراسات الأنواع ومساحات السكن. في استجابة الكوارث، يمكنه تقييم الأضرار وتوجيه الجهود الاستجابة من خلال تمييز المناطق المتضررة والأشياء في مقاطع الفيديو بدقة.
• التجارة الإلكترونية: يمكن لـ SAM 2 تحسين تجسيد المنتجات في التجارة الإلكترونية من خلال تمكين التمييز التفاعلي للمنتجات في الصور والفيديوهات. يمكنه أيضًا مساعدة تجار التجزئة في تتبع المنتجات على الرفوف في الوقت الفعلي، مما يسهل عملية الجرد ويعزز التحكم في المخزون.

تجاوز قيود SAM 2: حلول عملية وتحسينات مستقبلية

尽管 SAM 2 يؤدي بشكل جيد مع الصور والفيديوهات القصيرة، إلا أنه يوجد بعض القيود التي يجب مراعاتها للاستخدام العملي. قد يجد صعوبة في تتبع الأشياء عبر تغييرات كبيرة في الزاوية أو الغطاء أو في المشاهد المزدحمة، خاصة في الفيديوهات الطويلة. يمكن أن يساعد التعديل اليدوي باستخدام النقرات التفاعلية في معالجة هذه القضايا.

في البيئات المزدحمة مع أشياء متشابهة، قد يخلط SAM 2 بين الأهداف في بعض الأحيان، ولكن الأسئلة الإضافية في الإطارات اللاحقة يمكن أن تحل هذه القضية. على الرغم من أن SAM 2 يمكنه تمييز عدة أشياء، إلا أن كفاءته تقل لأنها تعالج كل كائن بشكل منفصل. يمكن أن تعزز التحديثات المستقبلية الأداء من خلال دمج المعلومات السياقية المشتركة.

SAM 2 يمكن أن يفقد تفاصيل دقيقة مع الأشياء المتحركة بسرعة، ويمكن أن تكون التنبؤات غير مستقرة عبر الإطارات. ومع ذلك، يمكن أن يعالج هذا القيد من خلال التدريب الإضافي. على الرغم من أن التوليد التلقائي للتعليقات قد تحسن، إلا أن المُعرّفين البشريين لا يزالون ضروريين للتحقق من الجودة واختيار الإطارات، ويمكن أن يعزز التلقين الإضافي الكفاءة.

الخلاصة

ي đại diện SAM 2 قفزة كبيرة في التمييز بين الأشياء في الوقت الفعلي للصور والفيديوهات، بناءً على الأساس الذي وضعه سابقه. من خلال تعزيز القدرات وتوسيع الوظائف إلى محتوى الفيديو الديناميكي، يعد SAM 2 بتحويل مجموعة من المجالات، من الرعاية الصحية والمركبات المستقلة إلى الوسائط التفاعلية والتجارة. على الرغم من التحديات المتبقية، خاصة في التعامل مع المشاهد المزدحمة، إلا أن الطبيعة المفتوحة المصدر لـ SAM 2 تشجع على التحسين المستمر والتكيف. مع أدائه القوي وسهولة الوصول، يعد SAM 2 على وشك دفع الابتكار وتوسيع الإمكانيات في رؤية الكمبيوتر وما بعدها.