SAM 2’yi Tanıtma: Meta’nın Gerçek Zamanlı Nesne Segmentasyonu için Yeni Açık Kaynaklı Temel Modeli

Son birkaç yılda, AI dünyası metin işleme için temel AI’de önemli ilerlemeler kaydetmiştir. Bu ilerlemeler, müşteri hizmetlerinden yasal analize kadar çeşitli endüstrileri dönüştürmüştür. Ancak görüntü işleme konusunda hala yüzeydeki bilgileri kazıyıyoruz. Görsel verilerin karmaşıklığı ve modellerin görüntüleri doğru bir şekilde yorumlayabilmesi için eğitilmesinin zorluğu önemli engeller oluşturmuştur. Araştırmacılar, görüntü ve videolar için temel AI’yi keşfederken, AI’de görüntü işlemenin geleceği, sağlık, otonom araçlar ve ötesinde yenilikler vaat etmektedir.

Nesne segmentasyonu, bir görüntüdeki belirli bir nesneye karşılık gelen pikselleri belirleme işlemidir ve bilgisayar görüşünde kritik bir görevdir. Geleneksel olarak, bu işlem özel AI modelleri oluşturmayı gerektirir, bu da geniş altyapı ve büyük miktarda etiketlenmiş veri gerektirir. Geçen yıl, Meta, görüntüleri basit bir.prompt ile segmentlemeyi mümkün kılan Segment Anything Model (SAM) adlı bir temel AI modelini tanıttı. Bu yenilik, uzmanlık gereksinimini ve geniş hesaplama kaynaklarına olan ihtiyacı azalttı, böylece görüntü segmentasyonu daha erişilebilir hale geldi.

Şimdi Meta, SAM 2 ile bu süreci bir adım öteye taşıyor. Bu yeni sürüm, SAM’in mevcut görüntü segmentasyonu yeteneklerini geliştiriyor ve ayrıca video işleme yetenekleri ekliyor. SAM 2, görüntülerde ve videolarda herhangi bir nesneyi segmentleyebilir, hatta daha önce karşılaşmadığı nesneleri de segmentleyebilir. Bu ilerleme, bilgisayar görüşü ve görüntü işleme alanında önemli bir adımdır ve görsel içeriği analiz etmek için daha esnek ve güçlü bir araç sağlar. Aşağıda, SAM 2’nin heyecan verici gelişmelerini ve bilgisayar görüşü alanını yeniden tanımlama potansiyelini keşfedeceğiz.

Segment Anything Model (SAM)’i Tanıtma

Geleneksel segmentasyon yöntemleri, ya elle düzeltme gerektirir (etkileşimli segmentasyon) ya da önceden tanımlanmış kategorilere otomatik segmentasyon için büyük miktarda etiketlenmiş veri gerektirir. SAM, etkileşimli segmentasyonu destekleyen bir temel AI modelidir ve tıklatma, kutu veya metin girişleri gibi esnek promt’ları kullanır. Ayrıca, minimal veri ve hesaplama kaynakları ile otomatik segmentasyon için uyarlanabilir. 1 milyardan fazla çeşitli görüntü etiketi üzerinde eğitilen SAM, özel veri toplama veya uyarlamaya gerek kalmadan yeni nesneleri ve görüntüleri işleyebilir.

SAM, iki ana bileşenden oluşur: görüntü işleyici ve promt işleyici. Bu bileşenler, hafif bir kodlayıcı ile birleşerek segmentasyon maskelerini öngörür. Görüntü işlendikten sonra, SAM yalnızca 50 milisaniyede bir segment oluşturabilir, bu da gerçek zamanlı, etkileşimli görevler için güçlü bir araç haline getirir. SAM’i oluşturmak için araştırmacılar, üç adımlı bir veri toplama süreci geliştirdiler: model destekli etiketleme, otomatik ve destekli etiketlemenin birleşimi ve tam otomatik maske oluşturma. Bu süreç, 11 milyon lisanslı, gizlilik koruyucu görüntüde 1,1 milyardan fazla maske içeren SA-1B veri setinin oluşturulmasına yol açtı – bu, mevcut herhangi bir veri setinden 400 kat daha büyüktür. SAM’in etkileyici performansı, bu geniş ve çeşitli veri setinden kaynaklanmaktadır ve bu da coğrafi bölgeler arasında daha iyi bir temsil sağlar.

SAM 2’yi Tanıtma: Görüntüden Videaya Segmentasyon Atlayışı

SAM’in temelini üzerine kurarak, SAM 2, görüntülerde ve videolarda gerçek zamanlı, promt edilebilir nesne segmentasyonu için tasarlanmıştır. SAM’den farklı olarak, SAM 2, her bir kareyi sürekli bir dizi olarak işler, böylece dinamik sahneleri ve değişen içeriği daha etkili bir şekilde işleyebilir. Görüntü segmentasyonu için, SAM 2, SAM’in yeteneklerini geliştirir ve ayrıca etkileşimli görevlerde üç kat daha hızlı çalışır.

SAM 2, SAM ile aynı mimariyi korur, ancak video işleme için bir bellek mekanizması tanır. Bu özellik, SAM 2’nin önceki karelerden bilgiyi takip etmesine olanak tanır, böylece segmentasyon maskesi öngörülerini tüm video boyunca iyileştirebilir. Model, 47 ülkeden 51.000 videoda 600.000’den fazla maskeleme etiketi içeren yeni geliştirilen SA-V veri seti üzerinde eğitilmiştir. Bu çeşitli veri seti, hem tüm nesneleri hem de parçalarını kapsar, böylece SAM 2’nin gerçek dünya video segmentasyonundaki doğruluğunu artırır.

SAM 2, Apache 2.0 lisansı altında açık kaynaklı bir model olarak sunulmaktadır, bu da çeşitli kullanımlar için erişilebilir hale getirir. Meta, SAM 2 için kullanılan veri setini CC BY 4.0 lisansı altında paylaşmıştır. Ayrıca, modelin performansını görmek için bir web tabanlı demo bulunmaktadır.

Potansiyel Kullanım Durumları

SAM 2’nin görüntülerde ve videolarda gerçek zamanlı, promt edilebilir nesne segmentasyonu yetenekleri, çeşitli alanlarda yenilikçi uygulamaları mümkün kılmıştır. Örneğin, bazı bu uygulamalar şunlardır:

• Sağlık Teşhisleri: SAM 2, ameliyathane canlı video akışlarında anatomik yapıları segmentleyerek ve anormallikleri belirleyerek gerçek zamanlı cerrahi yardımı önemli ölçüde geliştirebilir. Ayrıca, tıbbi görüntüleme analizini, organları veya tümörleri tıbbi taramalarda doğru bir şekilde segmentleyerek geliştirebilir.
• Otonom Araçlar: SAM 2, otonom araç sistemlerini, video kareleri boyunca yayaları, araçları ve trafik işaretlerini sürekli segmentleyerek ve takip ederek nesne algılama doğruluğunu geliştirerek增ştirebilir. Dinamik sahneleri işleme yeteneği, adaptif navigasyon ve çarpışma önleme sistemlerini, çevresel değişikliklere gerçek zamanlı olarak tepki vererek destekler.
• Etkileşimli Medya ve Eğlence: SAM 2, sanal gerçeklik (AR) uygulamalarını, nesneleri gerçek zamanlı olarak segmentleyerek ve sanal öğelerin gerçek dünya ile birleşmesini kolaylaştırarak geliştirebilir. Ayrıca, video düzenleme işlemlerini, video kayıtlarında otomatik nesne segmentasyonu sağlayarak basitleştirebilir.
• Çevresel İzleme: SAM 2, video kayıtlarında hayvanları segmentleyerek ve izleyerek vahşi yaşam takibine yardımcı olabilir, bu da tür araştırmaları ve habitat çalışmalarını destekler. Afet yanıtında, etkilenen alanları ve nesneleri video akışlarında doğru bir şekilde segmentleyerek hasarı değerlendirebilir ve yanıt çabalarını yönlendirebilir.
• Perakende ve E-Ticaret: SAM 2, ürünlerin görüntülerini ve videolarını etkileşimli olarak segmentleyerek e-ticarette ürün görselleştirmesini geliştirebilir, böylece müşterilerin ürünleri çeşitli açılardan ve bağlamlarda görmesine olanak tanır. Stok yönetiminde, perakendecilerin raflardaki ürünleri gerçek zamanlı olarak segmentleyerek ve takip etmesine yardımcı olabilir, bu da stok sayımını ve genel stok kontrolünü basitleştirir.

SAM 2’nin Sınırlılıklarını Aşmak: Pratik Çözümler ve Gelecek Geliştirmeler

SAM 2, görüntülerde ve kısa videolarda iyi performans gösterir, ancak pratik kullanımda dikkate alınması gereken bazı sınırlılıkları vardır. Önemli görüş değişiklikleri, uzun süren gizlenmeler veya kalabalık sahnelerde, özellikle uzun videolarda, nesneleri takip etmekte zorlanabilir. Etkileşimli tıklatma ile manuel düzeltme bu sorunları çözebilir.

Kalabalık ortamlarda benzer görünümlü nesneleri tanımlamakta zorlanabilir, ancak sonraki karelerde ek promt’lar bu sorunu çözebilir. SAM 2, birden fazla nesneyi segmentleyebilir, ancak her nesneyi ayrı ayrı işlediğinden verimliliği düşer. Gelecek güncellemeleri, paylaşılan bağlamsal bilgiyi entegre ederek performansı geliştirebilir.

Hızlı hareket eden nesnelerin ince ayrıntılarını kaçırabilir ve tahminleri kareler arasında kararlı olmayabilir. Ancak, daha fazla eğitim bu sınırlılığı gidermeye yardımcı olabilir. Otomatik etiket oluşturma geliştirilse de, kalite kontrolleri ve kare seçimi için insan etiketleyicilere vẫn ihtiyaç duyulur ve daha fazla otomatikleştirme verimliliği artırabilir.

Sonuç

SAM 2, görüntülerde ve videolarda gerçek zamanlı nesne segmentasyonu alanında önemli bir ilerlemeyi temsil etmektedir. SAM’in temelini üzerine kurarak ve yeteneklerini genişleterek, sağlık, otonom araçlar, etkileşimli medya ve perakende gibi çeşitli alanları dönüştürme potansiyeline sahiptir. Kalabalık ve karmaşık sahneleri işleme gibi zorluklar仍 tồn olsa da, açık kaynaklı doğası, sürekli geliştirme ve uyarlanmayı teşvik eder. Güçlü performansı ve erişilebilirliği ile SAM 2, bilgisayar görüşü ve ötesinde yenilikleri sürükleyecek bir araç olarak konumlandırılmıştır.