Yapay zeka modelleri ve platformları

Görsel Transformerlar Yeni Görüntü Parçasından Kümeye Dikkat Yöntemiyle Zorlukların Üstesinden Geliyor

Alex McFarland
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarPatch-to-Cluster dikkati, Vision Transformer'ların hesaplama gereksinimlerini ikinci…
Daha fazla göster
  • Patch-to-Cluster dikkati, Vision Transformer'ların hesaplama gereksinimlerini ikinci dereceden doğrusala indirger.
  • Yeni yöntem, görüntü özelliklerinden yorumlanabilir kümeler oluşturarak yapay zeka karar alma sürecini netleştirir.
  • PaCa, sınıflandırma ve bölütleme görevlerinde SWin ve PVT gibi önde gelen modellerden daha iyi performans gösterir.

Yapay zeka (AI) teknolojileri, özellikle Görsel Transformerlar (ViTs), görsel verilerin işlenmesinde ve nesnelerin tanınmasında büyük bir potansiyel göstermiştir. Ancak, pratik uygulamaları iki önemli zorluk tarafından sınırlıdır: yüksek hesaplama gücü gereksinimleri ve karar verme sürecinin şeffaflığı eksikliği. Şimdi, bir grup araştırmacı, çığır açan bir çözüm geliştirdi: “Görüntü Parçasından Kümeye Dikkat” (PaCa) adlı yeni bir metodoloji. PaCa, ViTs’in görsel nesne tanıma, sınıflandırma ve segmentasyon yeteneklerini artırırken, aynı zamanda uzun süredir devam eden hesaplama talepleri ve karar verme açıklığı sorunlarını çözmeyi amaçlıyor.

ViTs’in Zorluklarını Çözme: Yeni Çözüme Bir Bakış

Transformers, üstün yetenekleri nedeniyle AI dünyasındaki en etkili modellerden biridir. Bu modellerin gücü, görsel girdilerle eğitilen bir transformer sınıfı olan ViT’ler aracılığıyla görsel verilere de taşındı. ViTs’in görsel verilerin yorumlanması ve anlaşılmasında büyük bir potansiyel sunmasına rağmen, iki önemli sorun tarafından engellenmiştir.

İlk olarak, görsel verilerin büyük miktarda veri içerdiği için ViTs, önemli miktarda hesaplama gücü ve bellek gerektirir. Bu karmaşıklık, özellikle yüksek çözünürlüklü görselleri işlerken birçok sistem için ezici olabilir. İkinci olarak, ViTs içindeki karar verme süreci genellikle karmaşıktır ve şeffaf değildir. Kullanıcılar, ViTs’in görsellerdeki çeşitli nesneleri veya özellikleri nasıl ayırt ettiğini anlamakta zorluk çeker, bu da birçok uygulama için çok önemlidir.

Ancak, yenilikçi PaCa metodolojisi her iki zorluğun da çözümünü sunar. “Hesaplama ve bellek taleplerine ilişkin zorluğu, görsellerdeki nesneleri daha iyi tanımlamak ve odaklanmak için kümeleme tekniklerini kullanarak çözdük” diyor Tianfu Wu, çalışmanın sorumlu yazarı ve North Carolina State Üniversitesi’nde Elektrik ve Bilgisayar Mühendisliği Bölümü’nde doçent.

PaCa’da kümeleme tekniklerinin kullanılması, hesaplama gereksinimlerini önemli ölçüde azaltır, bu da süreci karesel karmaşıklıktan yönetilebilir doğrusal bir sürece dönüştürür. Wu, süreci şöyle açıklıyor: “Kümeleme yaparak, bu süreci doğrusal hale getiriyoruz; böylece her küçük birimin yalnızca önceden belirlenmiş sayıda kümeyle karşılaştırılması gerekiyor.”

Kümeleme ayrıca ViTs’deki karar verme sürecini açıklığa kavuşturur. Görsel verilerin birleştirilmesinde önemli olan özelliklerin belirlenmesi, ViTs’in karar verme sürecini anlaşılır kılar. AI, yalnızca sınırlı sayıda küme oluşturur, bu nedenle kullanıcılar karar verme sürecini kolayca anlayabilir ve inceleyebilir, bu da modelin yorumlanabilirliğini önemli ölçüde artırır.

PaCa Metodolojisi Diğer En Gelişmiş ViT’leri Geride Bırakıyor

Araştırmacılar, kapsamlı testler yoluyla PaCa metodolojisinin diğer ViTs’lere göre birçok alanda üstünlük sağladığını buldu. Wu, “PaCa’nin SWin ve PVT’yi her şekilde geride bıraktığını bulduk” diyor. Test süreci, PaCa’nin görsellerdeki nesneleri tanıma ve sınıflandırma yeteneklerinin yanı sıra segmentasyonda da daha iyi olduğunu, yani görüntülerdeki nesnelerin sınırlarını verimli biçimde belirlediğini gösterdi. Ayrıca, diğer ViTs’lere göre daha zaman verimli olduğu ve görevleri daha hızlı gerçekleştirdiği bulundu.

Araştırmacılar, PaCa’nin başarısından cesaret alarak, daha büyük temel veri kümeleri üzerinde eğitim vermeyi planlıyorlar. Bunu yaparak, görüntüye dayalı AI’nin sınırlarını genişletmeyi umuyorlar.

Araştırma makalesi, “PaCa-ViT: Vision Transformers’de Görüntü Parçasından Kümeye Dikkat Öğrenme” adlı çalışmanın, yakında yapılacak IEEE/CVF Bilgisayarlı Görme ve Desen Tanıma Konferansı‘nda sunulacağı açıklandı. Bu, daha verimli, şeffaf ve erişilebilir AI sistemleri için önemli bir kilometre taşı olabilir.

Alex, Unite.AI’nin AI destekli haber operasyonlarını yönetiyor, gazetecilik, araştırma ve otomasyonu birleştirerek yapay zekanın zamanında ve ölçeklenebilir şekilde kapsanmasını destekliyor. Çalışması, ortaya çıkan AI gelişmelerinin verimli bir şekilde ortaya konulmasını sağlarken, yayının editöryel standartlarını korumasına yardımcı olur.