Yüksek Çözünürlüklü Görüntüleri Makine Öğrenimi ile Küçültme

İngiltere’den yeni bir araştırmada, görüntülerin çeşitli kısımlarının algılanan değerine göre değil, görüntüdeki tüm piksellerin boyutunu (ve dolayısıyla kalitesini ve çıkarılabilir özelliklerini) keyfi olarak azaltmak yerine, görüntüleri yeniden boyutlandırmak için geliştirilmiş bir makine öğrenimi yöntemi önerilmiştir.

Bu, genel görüntü sıkıştırması için yeni kodekler oluşturmak için bir yaklaşım olabilir, ancak bu çalışma, yüksek çözünürlüklü tıbbi görüntülerin keyfi olarak küçültülmesi hayati önem taşıyan bilgileri kaybetmeye neden olabileceğinden, sağlık görüntüleme tarafından motive edilmektedir.

Yeni sistemin temsilî mimarisi. Ara deformasyon modülü, görüntüdeki ilgi alanlarına karşılık gelen bir deformasyon haritası üretir. Kırmızı noktaların yoğunluğu ve yönü bu alanları gösterir. Harita, yalnızca küçültme için değil, aynı zamanda görüntünün içeriği eşit olmayan şekilde yeniden ölçeklendirildiğinde ana ilgi alanlarının yeniden yapılandırılması için kullanılır. Kaynak: https://arxiv.org/pdf/2109.11071.pdf

Sistem, görüntülere anlamsal segmentasyon uygular – geniş bloklar, yukarıdaki resimde renk blokları olarak temsil edilen, resimdeki tanınan varlıkları kapsayan, Örneğin ‘yol’, ‘bisiklet’, ‘lezyon’ vb. Anlamsal segmentasyon haritalarının düzeni, fotoğrafın hangi kısımlarının aşırı küçültülmemesi gerektiği hesaplamak için kullanılır.

Ultra-Yüksek Çözünürlüklü Görüntülerin Segmentasyonu için Küçültme Öğrenme adlı yeni makale, University College London’daki Tıbbi Görüntü İşleme Merkezi’nden araştırmacılar ve Microsoft Cambridge’deki Sağlık Zekası bölümünden araştırmacılar arasında bir işbirliğidir.

Bilgisayarlı Görme Eğitiminin (Göreceli Olarak) Düşük Çözünürlüklü Dünyası

Bilgisayarlı görme sistemlerinin eğitimi, GPU kapasitesi tarafından önemli ölçüde kısıtlanır. Veri setleri, özellikler çıkarılması gereken binlerce görüntü içerebilir, ancak endüstri çapında GPU’lar genellikle 24gb VRAM’de zirveye ulaşır ve sürekli kıtlıklar mevcudiyeti ve maliyeti etkiler.

Bu, verilerin sınırlı Tensor çekirdekleri aracılığıyla GPU’ya yönetilebilir parti boyutlarında beslenmesi gerektiği anlamına gelir, birçok bilgisayar görme eğitimi iş akışında 8-16 görüntü tipiktir.

Çok açık çözümler yoktur: VRAM sınırsız olsaydı ve CPU mimarileri GPU’dan gelen bu tür bir verimliliği destekleyebilseydi, çok yüksek parti boyutları, kritik olabilecek daha ayrıntılı dönüşümler yerine yüksek düzeyli özellikler türetmeye eğilimlidir.

Giriş görüntülerinin çözünürlüğünü artırmak, ‘laten uzay’ içinde veri sığdırmak için daha küçük parti boyutları kullanmanız gerektiği anlamına gelir. Bu, ngược olarak, ‘eksantrik’ ve aşırı uyumlu bir model üretmeye eğilimlidir.

Ekstra GPU eklemek de yardımcı olmaz, en azından en yaygın mimarilerde: çoklu GPU kurulumları eğitim sürelerini hızlandırabilir, ancak eğitim sonuçlarının bütünlüğünü de tehlikeye atabilir, koordinasyon için yalnızca bir telefon hattı olan aynı ürünü üreten iki komşu fabrika gibi.

Akıllıca Yeniden Boyutlandırılmış Görüntüler

Bilgisayarlı görme veri setlerindeki tipik bir görüntünün en ilgili kısımları, yeni yöntem kullanılarak otomatik yeniden boyutlandırma sırasında bozulmadan korunabilir.

Bu, makine öğrenimi veri setlerindeki kayıp artefaktlar sorunundan ayrı bir zorluktur, burada kalite, otomatik yeniden boyutlandırma boru hatlarında kaybolur çünkü sıkıştırma kodeksi çok fazla (genellikle geri alınamaz) bilgi atar.

Örneğin, Manyetik Rezonans Görüntüleme (MRI) taramasını genellikle rekor boyutlara kadar indirmek ve daha inandırıcı bir şekilde 256×256 veya 512×512 piksel çözünürlüğe düşürmek için,.lossless bir görüntü formatına (LZW sıkıştırması ile PNG gibi) kaydetmek bile, yeniden boyutlandırma sırasında generic olarak atılan bilgileri kurtarmak mümkün değildir.

Kötüleşmeye ek olarak, çerçeveye bağlı olarak, dikdörtgen kaynak görüntülerine siyah kenarlıklar genellikle sinir ağı işlemleri için gerçekten kare bir girdi formatı üretmek için rutin bir veri işleme görevi olarak eklenir, bu da potansiyel olarak kritik veri için kullanılabilir alanları daha da azaltır.

UCL ve Microsoft’tan araştırmacılar, yeniden boyutlandırma işlemini daha akıllı hale getirmeyi önerirler, efektif olarak, görüntülerin sonunda geçtiği makine öğrenimi sisteminden bazı yorumlayıcı yükünü, görüntülerin ilgi alanlarını vurgulayarak, boru hattının genel bir aşamasını kullanır.

Araştırmacılar, yöntemin, 2019’da benzer kazanımlar için nesne sınırındaki kalite dikkat odaklı bir yaklaşım arayan bir çalışmanın üzerine inşa edildiğini iddia ederler.

Marin et al., 2019’dan ‘Verimli Segmentasyon: Sınır Yakınlarında Küçültme Öğrenme’. Kaynak: https://arxiv.org/pdf/1907.07156.pdf

Yeni çalışmanın belirttiğine göre, bu yaklaşım, ilgi alanlarının nesne sınırlarında toplandığını varsayar, oysa tıbbi görüntüleme örnekleri, such as annotated kanser bölgeleri, daha yüksek düzeyde bağlam bağlıdır ve görüntünün daha geniş alanları içinde kolayca atılabilir ayrıntılar olarak görünebilir, sınırlar yerine.

Öğrenilebilen Küçültme

Yeni araştırma, bir öğrenilebilen küçültme önerir, bir deformasyon modülü, paralel bir segmentasyon modülü ile birlikte eğitilir ve anlamsal segmentasyon tarafından tanımlanan ilgi alanları hakkında bilgilendirilebilir ve küçültme sırasında bu alanlara öncelik verebilir.

Araştırmacılar, sistemi Cityscapes, DeepGlobe ve yerel bir Prostat Kanseri Histoloji veri seti ‘PCa-Histo’ dahil olmak üzere birkaç popüler veri setinde test etti.

Üç yaklaşım: solda, mevcut ‘uniform’ küçültme; ortada, 2019 makalesinden ‘optimal kenar’ yaklaşımı; sağda, yeni sistemin arkasındaki mimari, anlamsal segmentasyon katmanındaki varlık tanıma tarafından bilgilendirilir.

Benzer bir yaklaşım, bir sınıflandırıcı için denenmiştir, ancak mevcut makalenin yazarları, bu yöntemin tıbbi görüntüleme bağlamında hayati alanları kaçırabileceğinden, vurgulanan alanları yeterince düzenlemediğini iddia eder.

Sonuçlar

Yeni sistemin deformasyon modülü, küçük bir Konvolüsyonel Sinir Ağı (CNN), segmentasyon katmanı ise derin bir CNN mimarisi, HRNetV2-W48 kullanır. Pyramid Scene Parsing Network (PSP-net) CityScapes testleri için bir sağduyu kontrol katmanı olarak kullanılır.

Yeni çerçeve, uniform örneklem (geleneksel yöntem), 2019’un optimal kenar yöntemi ve anlamsal segmentasyonun yeni yaklaşımını kullanarak test edilen yukarıda belirtilen veri setleri ile test edilmiştir.

Araştırmacılar, yeni yöntemin ‘klinik olarak en önemli sınıfları tanımlama ve ayırt etme konusunda net bir avantaj gösterdiğini bildirirler, bu da %15-20’lik bir doğruluk artışı sağlar. Ayrıca, bu sınıflar arasındaki mesafenin genellikle ‘sağlıklıdan kansere’ eşiği olarak tanımladığını gözlemlediler.

Üç yöntemdeki sınıf-bilgisel kesişim üzerinden birleşim (IoU) analizi: solda, standart örneklem; orta, optimal kenar; ve sağda, yeni yaklaşım. CityScapes 64 x 128’e, PCaHisto 80 x 800’e ve DeepGlobe 300 piksel kareye küçültülmüştür.

Rapor, yöntemin ‘bir küçültme stratejisi öğrenmesini, bilgiyi daha iyi korumayı ve bir ticaret-off’i etkin bir şekilde sağlamayı’ sağlayabildiğini belirtir, yeni çerçevenin ‘sınırlı piksel bütçesini, küçültme sırasında en yüksek genel dönüşüme ulaşmak için nereye ‘yatırım’ yapacağını öğrenmesini’ sağlayabildiğini belirtir.

Bu özelliklerin ana görseli thispersondoesnotexist.com’dan alınmıştır. Metin hatası için 15:35 GMT+2’de güncellenmiştir.