Mengurangi Ukuran Gambar Resolusi Tinggi dengan Pembelajaran Mesin

Penelitian baru dari Inggris telah mengusulkan metode pembelajaran mesin yang ditingkatkan untuk mengubah ukuran gambar, berdasarkan nilai yang dirasakan dari berbagai bagian konten gambar, bukan dengan mengurangi dimensi (dan oleh karena itu kualitas dan fitur yang dapat diekstrak) untuk semua piksel dalam gambar.

Sebagai bagian dari minat yang tumbuh dalam sistem kompresi yang didorong oleh AI, ini adalah pendekatan yang dapat menginformasikan codec baru untuk kompresi gambar umum, meskipun pekerjaan ini dimotivasi oleh pencitraan kesehatan, di mana downsampling sewenang-wenang dari gambar medis resolusi tinggi dapat menyebabkan kehilangan informasi yang dapat menyelamatkan nyawa.

Arsitektur representatif dari sistem baru. Modul deformasi antar ruang menghasilkan peta deformasi yang sesuai dengan area minat dalam gambar. Kepadatan dan arah titik merah menunjukkan area-area ini. Peta ini digunakan tidak hanya untuk downsampling, tetapi juga untuk merekonstruksi area minat utama ketika konten gambar tidak seragam diubah ukurannya kembali di sisi lain proses pelatihan. Sumber: https://arxiv.org/pdf/2109.11071.pdf

Sistem ini menerapkan segmentasi semantik pada gambar – blok besar, yang direpresentasikan sebagai blok warna dalam gambar di atas, yang mencakup entitas yang dikenali dalam gambar, seperti ‘jalan’, ‘sepeda’, ‘lesi’, dan lain-lain. Disposisi peta segmentasi semantik kemudian digunakan untuk menghitung bagian mana dari foto yang tidak boleh di-downsample secara berlebihan.

Dengan judul Belajar Mengurangi Ukuran untuk Segmentasi Gambar Resolusi Ultra-Tinggi, makalah baru ini adalah kolaborasi antara peneliti dari Pusat Komputasi Gambar Medis di University College London dan peneliti dari Departemen Intelijen Kesehatan di Microsoft Cambridge.

Dunia (Cukup) Rendah-Resolusi dari Pelatihan Penglihatan Komputer

Pelatihan sistem penglihatan komputer sangat terbatas oleh kapasitas GPU. Dataset dapat berisi banyak ribuan gambar dari mana fitur perlu diekstrak, tetapi bahkan GPU skala industri cenderung mencapai puncak 24gb VRAM, dengan kekurangan yang sedang berlangsung yang mempengaruhi ketersediaan dan biaya.

Ini berarti bahwa data harus diproses melalui inti tensor GPU yang terbatas dalam batch yang dapat dikelola, dengan 8-16 gambar yang khas dari banyak alur kerja pelatihan penglihatan komputer.

Tidak ada solusi yang jelas: bahkan jika VRAM tidak terbatas dan arsitektur CPU dapat menampung throughput seperti itu dari GPU tanpa membentuk bottleneck arsitektur, batch size yang sangat tinggi cenderung menghasilkan fitur tingkat tinggi dengan mengorbankan transformasi yang lebih rinci yang mungkin kritis untuk kegunaan algoritma akhir.

Meningkatkan resolusi gambar input akan berarti bahwa Anda harus menggunakan batch size yang lebih kecil untuk memasukkan data dalam ‘ruang laten’ GPU. Ini, sebaliknya, kemungkinan akan menghasilkan model yang ‘eksenrik’ dan overfitted.

Tidak ada bantuan dari menambahkan GPU ekstra, setidaknya dalam arsitektur yang paling umum: sementara setup multi-GPU dapat mempercepat waktu pelatihan, mereka juga dapat mengompromikan integritas hasil pelatihan, seperti dua pabrik yang berdekatan bekerja pada produk yang sama, dengan hanya sebuah telepon untuk mengkoordinasikan upaya mereka.

Gambar yang Diubah Ukurannya dengan Cerdas

Apa yang tersisa adalah bahwa bagian paling relevan dari gambar tipikal untuk dataset penglihatan komputer bisa, dengan metode baru, dipertahankan utuh dalam pengubahan ukuran otomatis yang terjadi ketika gambar resolusi sangat tinggi harus di-downsample untuk memasukkan pipa ML.

Ini adalah tantangan terpisah dari masalah artefak lossy dalam dataset penglihatan komputer, di mana kualitas hilang dalam pipa pengubahan ukuran otomatis karena codec kompresi membuang terlalu banyak (biasanya tidak dapat dipulihkan) informasi.

Rather, dalam kasus ini, bahkan menyimpan ke format gambar lossless (seperti PNG dengan kompresi LZW) tidak dapat memulihkan informasi yang secara generik dibuang ketika mengubah ukuran (misalnya) pemindaian MRI dari dimensi yang sering memecahkan rekor ke resolusi yang lebih masuk akal seperti 256×256 atau 512×512 piksel.

Untuk membuat hal-hal lebih buruk, tergantung pada persyaratan kerangka kerja, perbatasan hitam sering ditambahkan ke gambar sumber persegi panjang sebagai tugas pemrosesan data rutin, untuk menghasilkan format input yang benar-benar persegi untuk pemrosesan jaringan saraf, lebih lanjut mengurangi ruang yang tersedia untuk data yang mungkin kritis.

Peneliti dari UCL dan Microsoft sebaliknya mengusulkan untuk membuat proses pengubahan ukuran lebih cerdas, secara efektif menggunakan apa yang selalu menjadi tahap generik dalam pipa untuk menyoroti area minat, mengalihkan beberapa beban interpretatif dari sistem pembelajaran mesin yang akan melewati gambar-gambar ini.

Metode, para peneliti klaim, memperbaiki penawaran 2019 (gambar di bawah) yang mencari keuntungan serupa dengan fokus kualitas-perhatian di batas objek.

Dari ‘Efisiensi Segmentasi: Belajar Mengurangi Ukuran di Dekat Batas Semantik’, Marin et al., 2019. Sumber: https://arxiv.org/pdf/1907.07156.pdf

Seperti yang dicatat dalam penelitian baru, pendekatan ini menganggap bahwa area minat berkumpul di batas, sedangkan contoh dari pencitraan medis, seperti wilayah kanker yang diberi anotasi, bergantung pada konteks tingkat tinggi, dan mungkin muncul sebagai detail yang mudah dibuang dalam area yang lebih luas dalam gambar, bukan di tepi.

Downsampler yang Dapat Dipelajari

Penelitian baru mengusulkan downsampler yang dapat dipelajari yang disebut modul deformasi, yang dilatih bersama dengan modul segmentasi paralel, dan dapat diberitahu tentang area minat yang diidentifikasi oleh segmentasi semantik, dan memprioritaskan ini selama proses downsampling.

Penulis menguji sistem pada beberapa dataset populer, termasuk Cityscapes, DeepGlobe dan dataset lokal Histologi Kanker Prostat, ‘PCa-Histo’.

Tiga pendekatan: di sebelah kiri, downsampling ‘seragam’ yang ada; di tengah, pendekatan ‘tepi optimal’ dari makalah 2019; di sebelah kanan, arsitektur di balik sistem baru, yang diberitahu oleh pengenalan entitas dalam lapisan segmentasi semantik.

Pendekatan serupa telah dicoba untuk klasifikasi yang diusulkan pada 2019, tetapi penulis makalah saat ini mengklaim bahwa metode ini tidak cukup mengatur area penekanan, kemungkinan melewatkan area vital dalam konteks pencitraan medis.

Hasil

Modul deformasi dalam sistem baru adalah CNN kecil, sedangkan lapisan segmentasi adalah arsitektur CNN dalam yang menggunakan HRNetV2-W48. Jaringan Pemrosesan Adegan Piramida (PSP-net) digunakan sebagai lapisan pemeriksaan kewarasan untuk tes CityScapes.

Dataset yang disebutkan sebelumnya diuji dengan kerangka kerja baru, menggunakan resampling seragam (metode biasa), metode tepi optimal dari 2019, dan pendekatan baru yang menggunakan segmentasi semantik.

Penulis melaporkan bahwa metode baru menunjukkan ‘keunggulan yang jelas dalam mengidentifikasi dan membedakan kelas yang paling klinis penting’, dengan peningkatan akurasi sebesar 15-20%. Mereka lebih lanjut mengamati bahwa jarak antara kelas-kelas ini sering didefinisikan sebagai ‘ambang dari sehat ke kanker’.

Analisis IoU berbasis kelas di seluruh tiga metode: kiri, resampling standar; tengah, tepi optimal; dan kanan, pendekatan baru.CityScapes di-downsample ke 64 x 128, dengan PCaHisto di-downsample ke 80 x 800, dan DeepGlobe di-downsample ke 300 piksel persegi.

Laporan tersebut menyatakan bahwa metode mereka ‘dapat belajar strategi downsampling, lebih baik mempertahankan informasi dan memungkinkan trade-off yang lebih baik.’, menyimpulkan bahwa kerangka kerja baru ‘dapat belajar dengan efektif di mana untuk “menginvestasikan” anggaran piksel terbatas pada downsampling untuk mencapai pengembalian keseluruhan terbaik dalam akurasi segmentasi’.

Gambar utama untuk artikel fitur ini bersumber dari thispersondoesnotexist.com. Diperbarui pukul 3:35 sore GMT+2 untuk kesalahan teks.