Model Segment Apa Saja – Visi Komputer Mendapat Dorongan Besar

Visi komputer (CV) telah mencapai akurasi 99% dari 50% dalam 10 tahun. Teknologi ini diharapkan untuk ditingkatkan lebih lanjut ke tingkat yang belum pernah terjadi sebelumnya dengan algoritma modern dan teknik segmentasi gambar. Baru-baru ini, laboratorium FAIR Meta telah merilis Model Segment Apa Saja (SAM) – sebuah permainan yang berubah dalam segmentasi gambar. Model canggih ini dapat menghasilkan masker objek yang terperinci dari prompt input, membawa visi komputer ke ketinggian baru. Ini dapat secara potensial merevolusi cara kita berinteraksi dengan teknologi digital di era ini.

Mari kita jelajahi segmentasi gambar dan singkatnya mengungkap bagaimana SAM mempengaruhi visi komputer.

Apa itu Segmentasi Gambar & Apa Jenis-Jenisnya?

Segmentasi gambar adalah proses dalam visi komputer yang membagi gambar menjadi beberapa wilayah atau segmen, masing-masing mewakili objek atau area yang berbeda dari gambar. Pendekatan ini memungkinkan para ahli untuk mengisolasi bagian-bagian tertentu dari gambar untuk mendapatkan wawasan yang bermakna.

Model segmentasi gambar dilatih untuk meningkatkan output dengan mengenali detail gambar yang penting dan mengurangi kompleksitas. Algoritma ini secara efektif membedakan antara wilayah yang berbeda dari gambar berdasarkan fitur seperti warna, tekstur, kontras, bayangan, dan tepi.

Dengan membagi gambar, kita dapat fokus analisis kita pada wilayah yang menarik untuk mendapatkan detail yang bermakna. Berikut adalah beberapa teknik segmentasi gambar.

• Segmentasi Semantik melibatkan pelabelan piksel ke dalam kelas semantik.
• Segmentasi Instansi lebih lanjut dengan mendeteksi dan menggarisbawahi setiap objek dalam gambar.
• Segmentasi Panoptik memberikan ID instansi unik kepada piksel objek individu, menghasilkan pelabelan yang lebih komprehensif dan kontekstual dari semua objek dalam gambar.

Segmentasi dilakukan menggunakan model pembelajaran dalam berbasis gambar. Model ini mengambil semua titik data dan fitur yang berharga dari set pelatihan. Kemudian, mengubah data ini menjadi vektor dan matriks untuk memahami fitur yang kompleks. Beberapa model pembelajaran dalam yang umum digunakan di balik segmentasi gambar adalah:

• Jaringan Saraf Konvolusional (CNNs)
• Jaringan Terhubung Penuh (FCNs)
• Jaringan Saraf Berulang (RNNs)

Bagaimana Segmentasi Gambar Bekerja?

Dalam visi komputer, sebagian besar model segmentasi gambar terdiri dari jaringan encoder-decoder. Encoder mengkodekan representasi ruang laten dari data input yang di-dekode oleh decoder untuk membentuk peta segmen, atau dengan kata lain, peta yang menggarisbawahi lokasi setiap objek dalam gambar.

Biasanya, proses segmentasi terdiri dari 3 tahap:

• Encoder gambar yang mengubah input gambar menjadi model matematika (vektor dan matriks) untuk diproses.
• Encoder mengumpulkan vektor pada beberapa tingkat.
• Decoder masker cepat mengambil embedding gambar sebagai input dan menghasilkan masker yang menggarisbawahi objek yang berbeda dalam gambar secara terpisah.

Keadaan Segmentasi Gambar

Mulai tahun 2014, gelombang algoritma segmentasi berbasis pembelajaran dalam muncul, seperti CNN+CRF dan FCN, yang membuat kemajuan signifikan dalam bidang ini. Tahun 2015 menyaksikan munculnya U-Net dan Jaringan Deconvolution, yang meningkatkan akurasi hasil segmentasi.

Kemudian pada tahun 2016, Segmentasi Instansi yang Sadar, V-Net, dan RefineNet lebih lanjut meningkatkan akurasi dan kecepatan segmentasi. Pada tahun 2017, Mark-RCNN dan FC-DenseNet memperkenalkan deteksi objek dan prediksi densitas ke tugas segmentasi.

Pada tahun 2018, Segmentasi Panoptik, Mask-Lab, dan Jaringan Pengkodean Konteks berada di pusat perhatian karena pendekatan ini menangani kebutuhan segmentasi tingkat instansi. Pada tahun 2019, Panoptic FPN, HRNet, dan Perhatian Silang memperkenalkan pendekatan baru untuk segmentasi tingkat instansi.

Pada tahun 2020, tren ini berlanjut dengan pengenalan Detecto RS, Panoptic DeepLab, PolarMask, CenterMask, DC-NAS, dan Efficient Net + NAS-FPN. Akhirnya, pada tahun 2023, kita memiliki SAM, yang akan kita bahas selanjutnya.

Model Segment Apa Saja (SAM) – Segmentasi Gambar Tujuan Umum

Sumber gambar

Model Segment Apa Saja (SAM) adalah pendekatan baru yang dapat melakukan tugas segmentasi interaktif dan otomatis dalam satu model. Sebelumnya, segmentasi interaktif memungkinkan segmentasi kelas objek apa pun tetapi memerlukan orang untuk memandu metode dengan menghaluskan masker secara berulang.

Segmentasi otomatis di SAM memungkinkan segmentasi kategori objek tertentu yang ditentukan sebelumnya. Antarmukanya yang dapat dipromosikan membuatnya sangat fleksibel. Sebagai hasilnya, SAM dapat menangani berbagai tugas segmentasi menggunakan prompt yang sesuai, seperti klik, kotak, teks, dan lain-lain.

SAM dilatih pada dataset yang beragam dan mendalam dengan lebih dari 1 miliar masker, membuatnya mungkin untuk mengenali objek dan gambar baru yang tidak tersedia dalam set pelatihan. Kerangka modern ini akan merevolusi model CV dalam aplikasi seperti mobil self-driving, keamanan, dan realitas tambah.

SAM dapat mendeteksi dan membagi objek di sekitar mobil dalam mobil self-driving, seperti kendaraan lain, pejalan kaki, dan tanda lalu lintas. Dalam realitas tambah, SAM dapat membagi lingkungan dunia nyata untuk meletakkan objek virtual di lokasi yang sesuai, menciptakan UX yang lebih realistis dan menarik.

Tantangan Segmentasi Gambar pada 2023

Penelitian dan pengembangan yang meningkat dalam segmentasi gambar juga membawa tantangan signifikan. Beberapa tantangan segmentasi gambar terkemuka pada 2023 termasuk:

• Kompleksitas dataset yang meningkat, terutama untuk segmentasi gambar 3D
• Pengembangan model dalam yang dapat diinterpretasikan
• Penggunaan model pembelajaran tak terawasi yang meminimalkan intervensi manusia
• Kebutuhan akan model yang efisien waktu nyata dan memori
• Menghilangkan bottleneck segmentasi awan titik 3D

Masa Depan Visi Komputer

Pasar visi komputer global yang mempengaruhi beberapa industri diproyeksikan untuk mencapai lebih dari $41 miliar pada 2030. Teknik segmentasi gambar modern seperti Model Segment Apa Saja yang dipasangkan dengan algoritma pembelajaran dalam lainnya akan lebih memperkuat visi komputer di lanskap digital. Oleh karena itu, kita akan melihat model visi komputer yang lebih kuat dan aplikasi cerdas di masa depan.

Untuk mempelajari lebih lanjut tentang AI dan ML, jelajahi Unite.ai – solusi satu atap untuk semua pertanyaan tentang teknologi dan keadaan modernnya.