Segmentasikan Model Apapun – Computer Vision Mendapat Peningkatan Besar-besaran

Visi komputer (CV) telah tercapai Akurasi 99% dari 50% dalam 10 tahun. Teknologi ini diharapkan dapat meningkat lebih jauh ke tingkat yang belum pernah terjadi sebelumnya dengan algoritme modern dan teknik segmentasi gambar. Baru-baru ini, lab FAIR Meta telah merilis Segmen Model Apapun (SAM) – pengubah permainan dalam segmentasi gambar. Model canggih ini dapat menghasilkan topeng objek terperinci dari petunjuk input, membawa visi komputer ke tingkat yang lebih tinggi. Ini berpotensi merevolusi cara kita berinteraksi dengan teknologi digital di era ini.

Mari jelajahi segmentasi gambar dan temukan secara singkat bagaimana dampak SAM visi komputer.

Apa itu Segmentasi Gambar & Apa Jenisnya?

Segmentasi citra adalah proses dalam visi komputer yang membagi citra menjadi beberapa wilayah atau segmen, masing-masing mewakili objek atau area citra yang berbeda. Pendekatan ini memungkinkan para ahli untuk mengisolasi bagian tertentu dari suatu gambar untuk mendapatkan wawasan yang bermakna.

Model segmentasi gambar dilatih untuk meningkatkan keluaran dengan mengenali detail gambar yang penting dan mengurangi kompleksitas. Algoritme ini secara efektif membedakan antara berbagai wilayah gambar berdasarkan fitur seperti warna, tekstur, kontras, bayangan, dan tepi.

Dengan menyegmentasikan gambar, kami dapat memfokuskan analisis kami pada wilayah minat untuk mendapatkan detail yang mendalam. Di bawah ini adalah berbagai teknik segmentasi gambar.

• Segmentasi semantik melibatkan pelabelan piksel ke dalam kelas semantik.
• Segmentasi instance melangkah lebih jauh dengan mendeteksi dan menggambarkan setiap objek dalam sebuah gambar.
• Segmentasi panoptik menetapkan ID instance unik ke piksel objek individual, menghasilkan pelabelan yang lebih komprehensif dan kontekstual untuk semua objek dalam gambar.

Segmentasi diimplementasikan menggunakan model deep learning berbasis gambar. Model ini mengambil semua titik data dan fitur berharga dari set pelatihan. Kemudian, ubah data ini menjadi vektor dan matriks untuk memahami fitur yang kompleks. Beberapa model deep learning yang banyak digunakan di balik segmentasi gambar adalah:

• Jaringan Saraf Konvolusi (CNN)
• Jaringan yang Terhubung Sepenuhnya (FCN)
• Jaringan Syaraf Berulang (RNNs)

Bagaimana Segmentasi Gambar Bekerja?

In visi komputer, sebagian besar model segmentasi gambar terdiri dari jaringan encoder-decoder. Encoder mengkodekan representasi ruang laten dari data input yang didekodekan oleh dekoder untuk membentuk peta segmen, atau dengan kata lain, memetakan yang menguraikan setiap lokasi objek dalam gambar.

Biasanya, proses segmentasi terdiri dari 3 tahap:

• Encoder gambar yang mengubah gambar input menjadi model matematika (vektor dan matriks) untuk diproses.
• Encoder mengumpulkan vektor pada berbagai level.
• Dekoder topeng cepat mengambil penyematan gambar sebagai input dan menghasilkan topeng yang menguraikan objek berbeda dalam gambar secara terpisah.

Keadaan Segmentasi Gambar

Mulai tahun 2014, gelombang algoritma segmentasi berbasis deep learning muncul, seperti CNN+CRF dan FCN, yang membuat kemajuan signifikan di lapangan. 2015 melihat munculnya U-Net dan Jaringan Dekonvolusi, meningkatkan akurasi hasil segmentasi.

Kemudian pada tahun 2016, Segmentasi Sadar Instans, V-Net, dan RefineNet semakin meningkatkan akurasi dan kecepatan segmentasi. Pada 2017, Mark-RCNN dan FC-DenseNet memperkenalkan deteksi objek dan prediksi padat untuk tugas segmentasi.

Pada tahun 2018, Segmentasi Panoptik, Mask-Lab, dan Jaringan Pengkodean Konteks berada di tengah panggung karena pendekatan ini menjawab kebutuhan akan segmentasi tingkat instans. Pada tahun 2019, Panoptic FPN, HRNet, dan Criss-Cross Attention memperkenalkan pendekatan baru untuk segmentasi tingkat instans.

Pada tahun 2020, tren berlanjut dengan diperkenalkannya Detecto RS, Panoptic DeepLab, PolarMask, CenterMask, DC-NAS, dan Efficient Net + NAS-FPN. Terakhir, di tahun 2023, kita memiliki SAM yang akan kita bahas selanjutnya.

Segment Anything Model (SAM) – Segmentasi Gambar Tujuan Umum

Grafik Segmen Model Apapun (SAM) adalah pendekatan baru yang dapat melakukan tugas segmentasi interaktif dan otomatis dalam satu model. Sebelumnya, segmentasi interaktif memungkinkan untuk mensegmentasi kelas objek apa pun tetapi membutuhkan seseorang untuk memandu metode dengan menyempurnakan topeng secara iteratif.

Segmentasi otomatis di SAM memungkinkan segmentasi kategori objek tertentu yang ditentukan sebelumnya. Antarmuka yang dapat dipromosikan membuatnya sangat fleksibel. Hasilnya, SAM dapat mengatasi berbagai tugas segmentasi menggunakan perintah yang sesuai, seperti klik, kotak, teks, dan lainnya.

SAM dilatih pada kumpulan data yang beragam dan berwawasan lebih dari 1 miliar topeng, sehingga memungkinkan untuk mengenali objek dan gambar baru yang tidak tersedia di perlengkapan latihan. Kerangka kerja modern ini akan merevolusi secara luas Model CV dalam aplikasi seperti mobil self-driving, keamanan, dan augmented reality.

SAM dapat mendeteksi dan mengelompokkan objek di sekitar mobil pada mobil self-driving, seperti kendaraan lain, pejalan kaki, dan rambu lalu lintas. Dalam augmented reality, SAM dapat mensegmentasi lingkungan dunia nyata untuk menempatkan objek virtual di lokasi yang sesuai, menciptakan UX yang lebih realistis dan menarik.

Tantangan Segmentasi Gambar di tahun 2023

Meningkatnya penelitian dan pengembangan dalam segmentasi citra juga membawa tantangan yang signifikan. Beberapa tantangan segmentasi gambar yang paling utama di tahun 2023 adalah sebagai berikut:

• Meningkatnya kompleksitas dataset, terutama untuk segmentasi gambar 3D
• Pengembangan model mendalam yang dapat ditafsirkan
• Penggunaan model pembelajaran tanpa pengawasan yang meminimalkan campur tangan manusia
• Kebutuhan akan model real-time dan hemat memori
• Menghilangkan kemacetan segmentasi point-cloud 3D

Masa Depan Visi Komputer

Global visi komputer pasar berdampak pada banyak industri dan diproyeksikan akan tercapai $ 41 miliar 2030. Teknik segmentasi gambar modern seperti Model Apa Saja Segmen digabungkan dengan algoritme pembelajaran mendalam lainnya akan semakin memperkuat jalinan visi komputer dalam lanskap digital. Oleh karena itu, kita akan melihat model visi komputer yang lebih kuat dan aplikasi cerdas di masa mendatang.

Untuk mempelajari lebih lanjut tentang AI dan ML, jelajahi Bersatu.ai – solusi satu atap Anda untuk semua pertanyaan tentang teknologi dan keadaan modernnya.