Kinerja Mesin Pembelajaran yang Lebih Baik Melalui Pemangkasan Gambar Berbasis CNN

Peneliti Google telah mengusulkan metode baru untuk meningkatkan efisiensi dan akurasi alur kerja pelatihan penglihatan komputer berbasis gambar dengan memperbaiki cara gambar dalam dataset diproses pada tahap pra-pengolahan.

Dalam makalah Belajar untuk Mengubah Ukuran Gambar untuk Tugas Penglihatan Komputer, peneliti Hossein Talebi dan Peyman Milanfar menggunakan CNN untuk membuat arsitektur pengubahan ukuran gambar hibrida baru yang menghasilkan perbaikan yang signifikan dalam hasil pengenalan yang diperoleh dari empat dataset penglihatan komputer populer.

Kerangka joint yang diusulkan untuk pengenalan dan pengubahan ukuran. Sumber: https://arxiv.org/pdf/2103.09950.pdf

Makalah tersebut mengamati bahwa metode pengubahan ukuran yang saat ini digunakan dalam pipa otomatisasi pembelajaran mesin sudah ketinggalan zaman, dan sering menggunakan metode pengubahan ukuran dasar seperti bilinear, bikubik, dan tetangga terdekat pengubahan ukuran – metode yang memperlakukan semua piksel secara tidak diskriminatif.

Sebaliknya, metode yang diusulkan melengkapi data gambar melalui CNN dan menggabungkan input tersebut ke dalam gambar yang diubah ukurannya yang akhirnya akan melewati arsitektur model.

Batasan Gambar dalam Pelatihan AI

Untuk melatih model yang menangani gambar, kerangka pembelajaran mesin akan mencakup tahap pra-pengolahan, di mana berbagai gambar dengan ukuran, ruang warna, dan resolusi yang berbeda (yang akan menyumbang dataset pelatihan) secara sistematis dipotong dan diubah ukurannya menjadi dimensi yang konsisten dan format yang stabil.

Umumnya, ini akan melibatkan beberapa kompromi di sekitar format PNG, di mana kompromi antara waktu pengolahan/sumber daya, ukuran file, dan kualitas gambar akan ditetapkan.

Di sebagian besar kasus, dimensi akhir gambar yang diproses sangat kecil. Di bawah ini kita lihat contoh gambar dengan resolusi 80×80 yang digunakan dalam beberapa dataset deepfake awal yang dihasilkan:

Karena wajah (dan subjek lainnya) jarang sesuai dengan rasio persegi yang diperlukan, bilah hitam mungkin perlu ditambahkan (atau ruang yang tidak terpakai diizinkan) untuk menghomogenkan gambar, lebih lanjut mengurangi data gambar yang sebenarnya dapat digunakan:

Di sini wajah telah diekstrak dari area gambar yang lebih besar sampai dipotong secara ekonomis untuk mencakup seluruh area wajah. Namun, seperti yang terlihat di sebelah kanan, sebagian besar area yang tersisa tidak akan digunakan selama pelatihan, menambah bobot pada pentingnya kualitas gambar yang diubah ukurannya.

Karena kemampuan GPU telah meningkat dalam beberapa tahun terakhir, dengan generasi baru kartu NVIDIA yang dilengkapi dengan jumlah VRAM (Video Random Access Memory) yang meningkat, ukuran gambar yang berkontribusi rata-rata mulai meningkat, meskipun 224×224 piksel masih cukup standar (misalnya, ini adalah ukuran dataset ResNet-50).

Gambar yang tidak diubah ukurannya dengan resolusi 224×244 piksel.

Mengakomodasi Batch ke dalam VRAM

Alasan gambar harus semua memiliki ukuran yang sama adalah bahwa turunan gradien, metode yang digunakan model untuk meningkatkan dari waktu ke waktu, memerlukan data pelatihan yang seragam.

Alasan gambar harus sangat kecil adalah karena mereka harus dimuat (sepenuhnya didekompress) ke dalam VRAM selama pelatihan dalam batch kecil, biasanya antara 6-24 gambar per batch. Terlalu sedikit gambar per batch, dan tidak ada cukup bahan grup untuk generalisasi yang baik, serta memperpanjang waktu pelatihan; terlalu banyak, dan model mungkin gagal mendapatkan karakteristik dan detail yang diperlukan (lihat di bawah).

Bagian ‘pemuatan langsung’ dari arsitektur pelatihan disebut ruang laten. Ini adalah tempat di mana fitur secara berulang kali diekstrak dari data yang sama (yaitu gambar yang sama) sampai model telah mencapai keadaan di mana telah memiliki semua pengetahuan umum yang diperlukan untuk melakukan transformasi pada data yang tidak terlihat sebelumnya.

Proses ini umumnya memakan waktu beberapa hari, meskipun dapat memakan waktu sebulan atau lebih dari pemikiran yang konstan dan tanpa henti dengan volume tinggi 24/7 untuk mencapai generalisasi yang berguna. Peningkatan ukuran VRAM hanya berguna sampai batas tertentu, karena bahkan sedikit peningkatan resolusi gambar dapat memiliki efek yang signifikan pada kapasitas pemrosesan, dan efek terkait pada akurasi yang mungkin tidak selalu menguntungkan.

Menggunakan kapasitas VRAM yang lebih besar untuk mengakomodasi ukuran batch yang lebih besar juga merupakan berkat yang dicampur, karena kecepatan pelatihan yang lebih besar yang diperoleh dengan cara ini mungkin akan diimbangi oleh hasil yang kurang presisi.

Oleh karena itu, karena arsitektur pelatihan sangat terbatas, apa pun yang dapat memperbaiki keadaan dalam keterbatasan pipa yang ada merupakan pencapaian yang signifikan.

Bagaimana Pengubahan Ukuran yang Lebih Baik Membantu

Kualitas akhir gambar yang akan dimasukkan dalam dataset pelatihan telah terbukti memiliki efek yang memperbaiki hasil pelatihan, terutama dalam tugas pengenalan objek. Pada 2018, peneliti dari Max Planck Institute for Intelligent Systems berpendapat bahwa pilihan metode pengubahan ukuran secara signifikan mempengaruhi kinerja dan hasil pelatihan.

Penelitian sebelumnya dari Google (yang ditulis bersama oleh penulis makalah baru) menemukan bahwa akurasi klasifikasi dapat ditingkatkan dengan mempertahankan kontrol atas artefak kompresi dalam gambar dataset.

Arsitektur CNN untuk algoritma pengubahan ukuran yang diusulkan oleh Google Research.

Model CNN yang dibangun ke dalam pengubah ukuran baru menggabungkan pengubahan ukuran bilinear dengan fitur ‘koneksi skip’ yang dapat menggabungkan output dari jaringan yang dilatih ke dalam gambar yang diubah ukurannya.

Tidak seperti arsitektur encoder/decoder yang khas, proposal baru dapat bertindak tidak hanya sebagai bottleneck feed-forward, tetapi juga sebagai bottleneck invers untuk penskalaan ke atas ke ukuran target dan/atau rasio aspek apa pun. Selain itu, metode pengubahan ukuran ‘standar’ dapat diganti dengan metode tradisional lain yang sesuai, seperti Lanczos.

Detail Frekuensi Tinggi

Metode baru menghasilkan gambar yang tampaknya ‘memasak’ fitur kunci (yang akan diakui oleh proses pelatihan) langsung ke dalam gambar sumber. Dalam istilah estetika, hasilnya tidak konvensional:

Metode baru diterapkan di seluruh empat jaringan – Inception V2; DenseNet-121; ResNet-50; dan MobileNet-V2. Hasil metode pengubahan ukuran/resizing gambar Google Research menghasilkan gambar dengan agregasi piksel yang jelas, mengantisipasi fitur kunci yang akan dikenali selama proses pelatihan.

Peneliti mencatat bahwa eksperimen awal ini secara eksklusif dioptimalkan untuk tugas pengenalan gambar, dan bahwa dalam tes, ‘pengubah ukuran yang dipelajari’ yang ditenagai CNN dapat mencapai tingkat kesalahan yang ditingkatkan dalam tugas tersebut. Peneliti berencana untuk menerapkan metode ini pada jenis aplikasi penglihatan komputer berbasis gambar lainnya di masa depan.