Alat Anotasi Gambar Berbasis Browser untuk Dataset Penglihatan Komputer

Peneliti dari Finlandia telah mengembangkan alat labeling gambar berbasis browser yang dirancang untuk meningkatkan kemudahan dan kecepatan proses anotasi gambar yang membosankan untuk dataset penglihatan komputer. Diinstal sebagai ekstensi OS-agnostik untuk mesin browser paling populer, alat baru ini memungkinkan pengguna untuk ‘menganotasi sambil browsing secara bebas’, daripada perlu memasukkan sesi labeling ke dalam konteks setup khusus, atau menjalankan kode klien dan keadaan khusus lainnya.

Bernama BRIMA (Alat Anotasi Gambar Berbasis Browser dengan Biaya Rendah), sistem ini dikembangkan di Universitas Jyväskylä. Ini menghilangkan kebutuhan untuk mengumpulkan dan mengompilasi dataset ke direktori lokal atau remote, dan dapat dikonfigurasi untuk mendapatkan data yang berguna dari berbagai parameter data yang tersedia di platform publik mana pun.

BRIMA dalam aksi. Sumber: https://arxiv.org/pdf/2107.06351.pdf

Dengan cara ini BRIMA (yang akan dipresentasikan di ICIP 2021, ketika kode juga akan tersedia) menghilangkan hambatan potensial yang dapat timbul ketika sistem web-scraping otomatis diblokir melalui rentang IP atau metode lain, dan terhalang dari mengumpulkan data – skenario yang akan menjadi lebih umum karena perlindungan IP semakin menjadi fokus, seperti yang baru-baru ini dilakukan dengan alat generasi kode AI Microsoft, Copilot.

Karena BRIMA dimaksudkan hanya untuk anotasi berbasis manusia, penggunaannya juga kurang mungkin memicu hambatan lain, seperti tantangan CAPTCHA, atau sistem otomatis lain yang dirancang untuk memblokir algoritma pengumpulan data.

Kemampuan Pengumpulan Data Adaptif

BRIMA diimplementasikan melalui ekstensi Firefox atau ekstensi Chrome di Windows, OSX, atau Linux, dan dapat dikonfigurasi untuk mengonsumsi data penting berdasarkan poin data yang dipilih platform. Misalnya, ketika menganotasi gambar di Google Street View, sistem dapat mempertimbangkan orientasi dan sudut pandang lensa, dan mendaftarkan lokasi geografis objek yang ditentukan oleh pengguna.

BRIMA diuji pada September 2020 oleh para pembuatnya, selama kolaborasi pada inisiatif crowdsourced untuk menghasilkan dataset deteksi objek untuk kamera CCTV (kamera pengawasan video dipasang di ruang publik, atau dapat dilihat dari ruang publik).

Sistem ini terdiri dari klien sisi klien ringan berbasis JavaScript dalam bentuk ekstensi browser, dan aspek sisi server yang menerima dan mengompilasi data anotasi. Implementasi referensi dari instalasi sisi server ditulis dalam Python dan PHP dengan Flask dan Swagger/OpenAPI, tetapi para peneliti menekankan bahwa arsitektur pemrosesan pusat dapat dengan mudah dipindahkan ke bahasa dan konfigurasi lain.

Ekstensi browser dan server berkomunikasi melalui permintaan API RESTful dan HTTP/XHR, dengan data klien dikirim dalam format JSON yang kompatibel dengan MS COCO. Ini berarti bahwa data dapat langsung digunakan dengan berbagai kerangka deteksi objek paling populer, termasuk berbagai backend untuk TensorFlow, seperti Detectron2 dari Facebook, dan CenterMask2.

Alat Khusus Proyek

Meskipun sifat generik dari BRIMA, dapat dikonfigurasi menjadi konfigurasi pengumpulan data yang sangat spesifik, termasuk penerapan menu drop-down dan jenis input kontekstual lain yang terkait dengan domain tertentu. Pada gambar di bawah, kita lihat bahwa menu drop-down yang terkait dengan informasi kamera telah ditulis ke dalam BRIMA, sehingga sekelompok anotator dapat memberikan informasi yang detail dan relevan dengan proyek.

Alat tambahan ini dapat dikonfigurasi secara lokal. Ekstensi ini juga menampilkan instalasi yang mudah dan pintasan keyboard yang dapat dikonfigurasi, serta elemen antarmuka pengguna yang berwarna.

Pekerjaan ini membangun pada sejumlah upaya dalam beberapa tahun terakhir untuk meningkatkan kemudahan anotasi gambar untuk data yang diperoleh dari web atau data yang dihadapkan ke publik. Alat PhotoStuff, yang didukung oleh DARPA, menawarkan anotasi online melalui portal web khusus, dan dapat dijalankan di web semantik atau sebagai aplikasi mandiri; pada 2004 UC Berkeley mengusulkan Anotasi Foto pada Ponsel Kamera, yang sangat mengandalkan metadata, karena keterbatasan cakupan jaringan dan keterbatasan tampilan era tersebut; proyek LabelMe MIT pada 2005 juga mendekati anotasi berbasis browser, dengan ketergantungan pada alat MATLAB;

Sejak dirilis pada 2015, kerangka FOSS Python/QT LabelImg telah mendapatkan popularitas dalam upaya anotasi crowdsourced, dengan instalasi lokal khusus. Namun, para peneliti BRIMA mengamati bahwa LabelImg berfokus pada standar PascalVOC dan YOLO, tidak mendukung format JSON MS COCO, dan menghindari alat outling poligonal dengan memilih wilayah penangkapan persegi panjang sederhana (yang akan memerlukan segmentasi selanjutnya).