Transformer Visi Mengatasi Tantangan dengan Metode ‘Perhatian Patch-to-Cluster’ Baru

Teknologi kecerdasan buatan (AI), terutama Transformer Visi (ViTs), telah menunjukkan kemampuan luar biasa dalam mengidentifikasi dan mengkategorikan objek dalam gambar. Namun, penerapan praktisnya telah terbatas oleh dua tantangan signifikan: kebutuhan daya komputasi yang tinggi dan kurangnya transparansi dalam pengambilan keputusan. Sekarang, sekelompok peneliti telah mengembangkan solusi terobosan: metodologi baru yang dikenal sebagai “Perhatian Patch-to-Cluster” (PaCa). PaCa bertujuan untuk meningkatkan kemampuan ViTs dalam mengidentifikasi objek gambar, klasifikasi, dan segmentasi, sambil secara bersamaan menyelesaikan masalah lama tentang kebutuhan komputasi dan kejelasan pengambilan keputusan.

Mengatasi Tantangan ViTs: Sekilas tentang Solusi Baru

Transformer, karena kemampuan superior mereka, adalah salah satu model paling berpengaruh di dunia AI. Kekuatan model ini telah diperluas ke data visual melalui ViTs, kelas transformer yang dilatih dengan input visual. Meskipun potensi luar biasa yang ditawarkan oleh ViTs dalam menafsirkan dan memahami gambar, mereka telah terhambat oleh beberapa masalah besar.

Pertama, karena sifat gambar yang mengandung sejumlah besar data, ViTs memerlukan daya komputasi dan memori yang substansial. Kompleksitas ini dapat membebani banyak sistem, terutama saat menangani gambar dengan resolusi tinggi. Kedua, proses pengambilan keputusan dalam ViTs seringkali membingungkan dan tidak transparan. Pengguna menemukan sulit untuk memahami bagaimana ViTs membedakan antara berbagai objek atau fitur dalam gambar, yang sangat penting untuk banyak aplikasi.

Namun, metodologi PaCa yang inovatif menawarkan solusi untuk kedua tantangan ini. “Kami mengatasi tantangan terkait kebutuhan komputasi dan memori dengan menggunakan teknik clustering, yang memungkinkan arsitektur transformer untuk lebih baik mengidentifikasi dan fokus pada objek dalam gambar,” jelas Tianfu Wu, penulis utama makalah tentang pekerjaan ini dan Associate Professor of Electrical and Computer Engineering di North Carolina State University.

Penggunaan teknik clustering dalam PaCa secara drastis mengurangi kebutuhan komputasi, mengubah proses dari proses kuadrat menjadi proses linier yang dapat dikelola. Wu menjelaskan prosesnya, “Dengan clustering, kami dapat membuat proses ini menjadi proses linier, di mana setiap unit yang lebih kecil hanya perlu dibandingkan dengan jumlah cluster yang telah ditentukan sebelumnya.”

Clustering juga berfungsi untuk memperjelas proses pengambilan keputusan dalam ViTs. Proses pembentukan cluster mengungkapkan bagaimana ViT memutuskan fitur mana yang penting dalam mengelompokkan bagian data gambar. Karena AI hanya membuat jumlah cluster yang terbatas, pengguna dapat dengan mudah memahami dan memeriksa proses pengambilan keputusan, secara signifikan meningkatkan interpretabilitas model.

Metodologi PaCa Mengungguli ViTs State-of-the-Art Lainnya

Melalui pengujian komprehensif, peneliti menemukan bahwa metodologi PaCa mengungguli ViTs lainnya dalam beberapa aspek. Wu menjelaskan, “Kami menemukan bahwa PaCa mengungguli SWin dan PVT dalam semua aspek.” Proses pengujian mengungkapkan bahwa PaCa unggul dalam mengklasifikasikan dan mengidentifikasi objek dalam gambar dan segmentasi, secara efisien menggaris batas objek dalam gambar. Selain itu, ditemukan bahwa PaCa lebih efisien waktu, menyelesaikan tugas lebih cepat daripada ViTs lainnya.

Didorong oleh kesuksesan PaCa, tim peneliti bertujuan untuk lebih mengembangkan PaCa dengan melatihnya pada dataset dasar yang lebih besar. Dengan melakukan hal ini, mereka berharap dapat mendorong batas apa yang saat ini mungkin dengan AI berbasis gambar.

Makalah penelitian, “PaCa-ViT: Belajar Perhatian Patch-to-Cluster dalam Transformer Visi,” akan disajikan pada Konferensi IEEE/CVF tentang Pengenalan Pola dan Visi Komputer yang akan datang. Ini adalah tonggak penting yang dapat membuka jalan bagi sistem AI yang lebih efisien, transparan, dan dapat diakses.