SAM 2’yi Tanıtma: Meta’nın Gerçek Zamanlı Nesne Segmentasyonu için Yeni Açık Kaynaklı Foundation Modeli

Son birkaç yılda, AI dünyası metin işleme için foundation AI’de önemli ilerlemeler kaydetti ve müşteri hizmetlerinden yasal analize kadar çeşitli endüstrileri dönüştürdü. Ancak, görüntü işleme konusunda sadece yüzeydeyiz. Görsel verilerin karmaşıklığı ve modelleri görüntüleri doğru bir şekilde yorumlayabilmesi için eğitmenin zorlukları önemli engeller oluşturdu. Araştırmacılar, görüntü ve videolar için foundation AI’yi keşfederken, AI’de görüntü işlemenin geleceği sağlık, otonom araçlar ve ötesinde yenilikler için potansiyel taşıyor.

Nesne segmentasyonu, bir görüntüdeki bir nesnenin karşılık geldiği precisa pikselleri belirleme, bilgisayar görüşünde kritik bir görevdir. Geleneksel olarak, bu, özel AI modelleri oluşturmayı gerektirir, bu da geniş altyapı ve büyük miktarda etiketli veri gerektirir. Geçen yıl, Meta, Segment Anything Model (SAM) adlı bir foundation AI modelini tanıttı. Bu model, kullanıcıların basit bir.prompt ile görüntüleri segmentlemesine olanak tanıyan bir süreç basitleştirir. Bu yenilik, uzmanlık ve geniş hesaplamalı kaynaklara olan ihtiyacı azalttı ve görüntü segmentasyonunu daha erişilebilir hale getirdi.

Şimdi, Meta bunu SAM 2 ile bir adım öteye taşıyor. Bu yeni sürüm, SAM’in mevcut görüntü segmentasyonu yeteneklerini sadece geliştirmekle kalmaz, aynı zamanda video işleme yeteneklerini de genişletir. SAM 2, görüntülerde ve videolarda daha önce karşılaşmadığı nesneleri de segmentleyebilir. Bu ilerleme, bilgisayar görüşü ve görüntü işleme alanında önemli bir adımdır ve görsel içeriği analiz etmek için daha esnek ve güçlü bir araç sağlar. Aşağıda, SAM 2’nin heyecan verici gelişmelerini ve bilgisayar görüşü alanını yeniden tanımlama potansiyelini keşfedeceğiz.

Segment Anything Model (SAM)’i Tanıtma

Geleneksel segmentasyon yöntemleri, ya manuel rafine etme, yani etkileşimli segmentasyon, ya da önceden tanımlanmış kategorilere otomatik segmentasyon için geniş etiketli veri gerektirir. SAM, etkileşimli segmentasyonu destekleyen bir foundation AI modelidir. Kullanıcıların basit bir.prompt ile görüntüleri segmentlemesine olanak tanıyan bir süreç basitleştirir. SAM, 1 milyar çeşit görüntü etiketi üzerinde eğitilmiştir ve yeni nesneleri ve görüntüleri tanımlayabilir. SAM iki ana bileşenden oluşur: bir görüntü kodlayıcısı ve bir.prompt kodlayıcısı. Bu bileşenler, bir lightweight decoder ile birleşerek segmentasyon maskelerini öngörür.

SAM 2, SAM’in temelini üzerine kurulmuştur ve gerçek zamanlı,.promptable nesne segmentasyonu için tasarlanmıştır. SAM 2, videolarda her kareyi sürekli bir dizi olarak işler, böylece dinamik sahneleri ve değişen içeriği daha etkili bir şekilde işleyebilir. SAM 2, SAM’in görüntü segmentasyonu yeteneklerini sadece geliştirmekle kalmaz, aynı zamanda etkileşimli görevlerde üç kat daha hızlı çalışır.

SAM 2, aynı mimariyi korur, ancak video işleme için bir hafıza mekanizması tanır. Bu, SAM 2’nin önceki karelerden bilgiyi saklayabilmesini sağlar, böylece hareket, aydınlatma veya örtme değişikliklerine rağmen nesne segmentasyonunun tutarlı olmasını sağlar. SAM 2, 47 ülkeden 51.000 videodan oluşan 600.000 masklet etiketi içeren yeni bir veri kümesi olan SA-V veri kümesi üzerinde eğitilmiştir. Bu çeşitli veri kümesi, hem tüm nesneleri hem de parçalarını kapsar, böylece SAM 2’nin gerçek dünya video segmentasyonundaki doğruluğunu artırır.

SAM 2, Apache 2.0 lisansı altında açık kaynaklı bir model olarak mevcuttur, bu da çeşitli kullanımlar için erişilebilir olmasını sağlar. Meta, SAM 2 için kullanılan veri kümesini CC BY 4.0 lisansı altında paylaştı. Ayrıca, modelin performansını görmek için bir web tabanlı demo mevcuttur.

Potansiyel Kullanım Alanları

SAM 2’nin görüntüler ve videolar için gerçek zamanlı,.promptable nesne segmentasyonu yetenekleri, çeşitli alanlarda yenilikçi uygulamaları mümkün kılmıştır. Örneğin, bazı bu uygulamalar şunlardır:

• Sağlık Tanıları: SAM 2, ameliyathane canlı video akışlarında anatomik yapıları segmentleyerek ve anormallikleri tanımlayarak gerçek zamanlı cerrahi yardımı önemli ölçüde geliştirebilir. Ayrıca, tıbbi görüntüleme analizini, organları veya tümörleri tıbbi taramalarda doğru bir şekilde segmentleyerek geliştirebilir.
• Otonom Araçlar: SAM 2, otonom araç sistemlerini, video kareleri boyunca yayaları, araçları ve trafik işaretlerini sürekli segmentleyerek ve takip ederek nesne tanıma doğruluğunu artırarak geliştirebilir. Dinamik sahneleri işleme yeteneği, adaptif navigasyon ve çarpışma önleme sistemlerini de destekler, böylece çevresel değişikliklere gerçek zamanlı olarak tepki verebilir.
• Etkileşimli Medya ve Eğlence: SAM 2, gerçek zamanlı olarak nesneleri segmentleyerek, sanal öğelerin gerçek dünya ile daha kolay bir şekilde birleşmesini sağlayarak artırılmış gerçeklik (AR) uygulamalarını geliştirebilir. Ayrıca, video düzenlemede, görüntülerdeki nesne segmentasyonunu otomatikleştirmek suretiyle, arka plan kaldırma ve nesne değiştirme gibi işlemleri basitleştirir.
• Çevre İzleme: SAM 2, video kayıtlarında hayvanları segmentleyerek ve izleyerek, tür araştırmaları ve habitat çalışmaları için destek sağlayabilir. Ayrıca, afet yanıtında, etkilenen alanları ve nesneleri video akışlarında doğru bir şekilde segmentleyerek, hasar değerlendirmesine ve yanıt çabalarına rehberlik edebilir.
• Perakende ve E-Ticaret: SAM 2, ürünlerin görüntülerde ve videolarda etkileşimli segmentasyonunu sağlayarak, müşterilerin ürünleri çeşitli açılardan ve bağlamlarda görmesine olanak tanıyarak e-ticarette ürün görselleştirmesini geliştirebilir. Ayrıca, perakendeciler için, raftaki ürünleri gerçek zamanlı olarak segmentleyerek ve takip ederek stok sayımını ve envanter kontrolünü basitleştirebilir.

SAM 2’nin Sınırlılıklarını Aşmak: Pratik Çözümler ve Gelecek Geliştirmeler

SAM 2, görüntüler ve kısa videolar ile iyi performans gösterir, ancak pratik kullanımda dikkate alınması gereken bazı sınırlılıkları vardır. SAM 2, önemli görüş değişiklikleri, uzun örtmeler veya kalabalık sahnelerde, özellikle uzun videolarda nesneleri takip etmekte zorlanabilir. Etkileşimli tıklatma ile manuel düzeltme bu sorunları çözmeye yardımcı olabilir.

Kalabalık ortamlarda benzer görünen nesnelerde, SAM 2 bazen hedefleri yanlış tanımlayabilir, ancak sonraki karelerde ek.promt ile bu sorun çözülebilir. SAM 2, birden fazla nesneyi segmentleyebilir, ancak her nesneyi ayrı ayrı işler, bu nedenle verimliliği düşürebilir. Gelecek güncellemeleri, paylaşılan bağlamsal bilgileri entegre ederek performansı artırmaya yardımcı olabilir.

SAM 2, hızlı hareket eden nesnelerde ince ayrıntıları kaçırabilir ve kareler arasında öngörüler istikrarsız olabilir. Ancak, daha fazla eğitim bu sınırlılığı gidermeye yardımcı olabilir. Otomatik olarak etiket oluşturma geliştirilmiştir, ancak kalite kontrolleri ve kare seçimi için insan etiketleyicilere vẫn ihtiyaç duyulur ve daha fazla otomasyon verimliliği artırabilir.

Sonuç

SAM 2, görüntüler ve videolar için gerçek zamanlı nesne segmentasyonu alanında önemli bir adımdır ve önceki sürümün temelini üzerine kurulmuştur. Yeteneklerini geliştirerek ve video işleme yeteneklerini genişleterek, SAM 2, sağlık, otonom araçlar, etkileşimli medya ve perakende gibi çeşitli alanları dönüştürme potansiyeline sahiptir. Kalabalık ve karmaşık sahnelerde bazı zorluklar olsa da, açık kaynaklı doğası, sürekli geliştirme ve uyarlamayı teşvik eder. Güçlü performansı ve erişilebilirliği ile SAM 2, bilgisayar görüşü ve ötesinde yenilikleri sürükleyecek bir konumdadır.