Un instrument de adnotare a imaginilor bazat pe browser pentru seturile de date de computer Vision

Cercetătorii din Finlanda au dezvoltat un instrument de etichetare a imaginilor bazat pe browser, menit să îmbunătățească ușurința și viteza proceselor plictisitoare de adnotare a imaginilor pentru seturile de date de viziune computerizată. Instalat ca o extensie agnostică față de sistemul de operare pentru cele mai populare motoare de browser, noul instrument permite utilizatorilor să „adnoteze în timp ce navighează liber”, în loc să fie nevoie să plaseze o sesiune de etichetare în contextul unei configurații dedicate sau să ruleze cod pe partea clientului și în alte circumstanțe speciale.

Intitulat BRIMA (Instrument de adnotare a imaginilor, doar pentru BRrowser Low-Overhead), sistemul a fost dezvoltat la Universitatea din Jyväskylä. Îndepărtează necesitatea de a răzui și compila seturi de date în directoare locale sau la distanță și poate fi configurat pentru a obține date utile din diferiții parametri de date disponibili pe orice platformă publică.

BRIMA în acțiune. Sursă: https://arxiv.org/pdf/2107.06351.pdf

În acest fel BRIMA (care va fi prezentată la ICIP 2021, cand cod va fi, de asemenea, disponibil) înlătură potențialele obstacole care pot apărea atunci când sistemele automate de web-scraping sunt blocate prin intervale IP sau alte metode și împiedicate culegerea de date - un scenariu care va deveni mai comun pe măsură ce protecția IP este din ce în ce mai accentuată. , așa cum are făcut recent cu instrumentul de generare de cod bazat pe inteligență artificială de la Microsoft, Copilot.

Deoarece BRIMA este destinat exclusiv adnotărilor bazate pe oameni, utilizarea sa este, de asemenea, mai puțin probabil să declanșeze alte tipuri de blocaje, cum ar fi provocările CAPTCHA sau alte sisteme automate menite să blocheze algoritmii de culegere a datelor.

Capacități adaptive de colectare a datelor

BRIMA este implementat prin intermediul unui add-on Firefox sau al unei extensii Chrome pe Windows, OSX sau Linux și poate fi configurat pentru a ingera date importante pe baza punctelor de date pe care o anumită platformă poate alege să le expună. De exemplu, atunci când adnotează imagini în Google Street View, sistemul poate ține seama de orientarea și punctul de vedere al lentilei și poate înregistra geo-locația exactă a obiectului specificat în atenție de către utilizator.

BRIMA a fost testată în septembrie 2020 de creatorii săi, în timpul colaborării la o inițiativă crowdsourcing de a genera un set de date de detectare a obiectelor pentru obiecte CCTV (camere de supraveghere video montate în spații publice sau vizibile din spații publice).

Sistemul este alcătuit dintr-o instalare ușoară JavaScript pe partea client sub forma extensiei de browser și un aspect pe partea serverului care primește și compilează datele de adnotare. Implementările de referință ale instalării pe partea serverului au fost scrise în Python și PHP cu Flask și Swagger/OpenAPI, dar cercetătorii subliniază că arhitectura centrală de procesare poate fi portată cu ușurință în alte limbi și configurații.

Extensia browserului și serverul comunică prin intermediul cererilor API RESTful și HTTP/XHR, datele din partea clientului fiind trimise acasă într-un format JSON compatibil cu MS COCO. Aceasta înseamnă că datele pot fi utilizate imediat cu o varietate dintre cele mai populare framework-uri de detectare a obiectelor, inclusiv diverse back-end-uri pentru TensorFlow, cum ar fi cel al Facebook. Detectron2 și CenterMask2.

Instrumente specifice proiectului

În ciuda naturii generice a BRIMA, acesta poate fi configurat în configurații foarte specifice de colectare a datelor, inclusiv impunerea de meniuri derulante și alte tipuri de introducere contextuală legate de un anumit domeniu. În imaginea de mai jos vedem că un meniu derulant referitor la informațiile camerei a fost scris în BRIMA, astfel încât un grup de adnotatori să poată furniza informații detaliate și relevante pentru proiect.

Acest instrument suplimentar poate fi configurat local. Extensia oferă, de asemenea, o instalare ușoară și comenzi rapide de la tastatură configurabile, împreună cu elemente de interfață cu coduri de culoare.

Lucrarea se bazează pe o serie de încercări din ultimii ani de a îmbunătăți facilitatea de adnotare a imaginilor pentru datele obținute pe web sau destinate publicului. Instrumentul PhotoStuff, susținut de DARPA, oferă adnotare online printr-un portal web dedicat și poate fi rulat pe web semantic sau ca aplicație independentă; în 2004 UC Berkeley a propus Adnotare foto pe un telefon cu cameră, care a valorificat puternic metadatele, din cauza limitărilor de acoperire a rețelei și a limitărilor viewport-urilor din acea epocă; MIT 2005 LabelMe proiectul a abordat și adnotarea bazată pe browser, bazându-se pe instrumentele MATLAB;

De la lansarea sa în 2015, cadrul FOSS Python/QT LabelImg a câștigat popularitate în eforturile de adnotare crowdsource, cu o instalare locală dedicată. Cu toate acestea, cercetătorii BRIMA observă că LabelImg se concentrează pe standardele PascalVOC și YOLO, nu acceptă formatul MS COCO JSON și evită instrumentele de conturare poligonală în favoarea regiunilor de captură dreptunghiulare simple (care vor necesita o segmentare ulterioară).