En browserbaseret billedannoteringsværktøj til computer vision-datasets

Forskere fra Finland har udviklet et browserbaseret billedmærkningsværktøj, der er designet til at forbedre og accelerere de trættende billedannoteringsprocesser for computer vision-datasets. Installeret som en OS-agnostisk udvidelse til de mest populære browsermotorer, ermögiller det nye værktøj brugerne at “annotere, mens de frit kan browse”, i stedet for at skulle indsætte en mærkningsession i en dedikeret opsætning eller køre klient-side-kode og andre særlige omstændigheder.

Navngivet BRIMA (Low-Overhead BRowser-only IMage Annotation tool), blev systemet udviklet på Universitetet i Jyväskylä. Det fjerner behovet for at skrabe og samle datasets i lokale eller fjerne direktorier, og kan konfigureres til at udlede nyttige data fra de forskellige dataparametre, der er tilgængelige på enhver offentlig platform.

BRIMA i aktion. Kilde: https://arxiv.org/pdf/2107.06351.pdf

På denne måde eliminerer BRIMA (der vil blive præsenteret på ICIP 2021, hvor koden også vil blive gjort tilgængelig) de potentielle hindringer, der kan opstå, når automatiserede web-skrapningssystemer blokeres via IP-områder eller andre metoder, og forhindres i at indsamle data – en situation, der er på vej til at blive mere almindelig, da IP-beskyttelse kommer mere og mere i fokus, som det har gjort med Microsofts AI-drevne kodegenereringsværktøj, Copilot.

Da BRIMA udelukkende er designet til menneskebaseret annotation, er det også mindre sandsynligt, at det udløser andre slags vejrblokke, såsom CAPTCHA-udfordringer eller andre automatiserede systemer, der er designet til at blokere dataindsamlingssystemer.

Tilpasningsdygtige dataindsamlingsevner

BRIMA er implementeret via en Firefox-add-on eller Chrome-udvidelse på Windows, OSX eller Linux, og kan konfigureres til at indtage væsentlige data baseret på datapunkter, som en given platform måtte vælge at eksponere. For eksempel, når man annoterer billeder i Google Street View, kan systemet tage hensyn til orienteringen og synsvinklen på linsen og registrere den præcise geografiske placering af det objekt, der er under opmærksomhed fra brugeren.

BRIMA blev testet i september 2020 af dens skabere under et samarbejde om en crowdsourced-initiativ til at generere et objektgenkendelsesdataset for CCTV-objekter (videoovervågningskameraer monteret i offentlige rum eller synlige fra offentlige rum).

Systemet består af en letvægts JavaScript-klient-side-installation i form af browser-udvidelsen og en server-side-aspekt, der modtager og samler annotationsdataene. Referenceimplementeringer af server-side-installationen blev skrevet i Python og PHP med Flask og Swagger/OpenAPI, men forskerne understreger, at den centrale procesarkitektur let kan overføres til andre sprog og konfigurationer.

Browser-udvidelsen og serveren kommunikerer via RESTful API-anmodninger og HTTP/XHR, med klient-side-data sendt hjem i et JSON-format, der er kompatibelt med MS COCO. Dette betyder, at dataene er umiddelbart brugbare med en række af de mest populære objektgenkendelsesrammer, herunder diverse back-ends til TensorFlow, såsom Facebooks Detectron2 og CenterMask2.

Projektspecifik værktøj

Trods BRIMAs generiske natur kan det konfigureres til højtspecifikke dataindsamlingsskonfigurationer, herunder pålægning af dropdown-menus og andre former for kontekstuel input i forhold til en given domæne. I billedet nedenfor ser vi, at et dropdown-menu relateret til kamerainformation er skrevet ind i BRIMA, så en gruppe annotatorer kan give detaljeret og projektrelevant information.

Dette ekstra værktøj kan konfigureres lokalt. Udvidelsen har også let installation og konfigurerbare tastaturgenveje, sammen med farvekodede brugergrænselementer.

Arbejdet bygger på en række forsøg i de seneste år på at forbedre billedannoteringen for web- eller offentligt tilgængelige data. Værktøjet PhotoStuff, som støttes af DARPA, tilbyder online-annotation via en dedikeret webportal og kan køres på det semantiske web eller som en selvstændig applikation; i 2004 foreslog UC Berkeley Photo Annotation on a Camera Phone, som i høj grad udnyttede metadata på grund af begrænsningerne i netdækning og viewport-begrænsningerne på den tid; MIT’s 2005 LabelMe-projekt nærmede sig også browserbaseret annotation, med afhængighed af MATLAB-værktøjer;

Siden dens udgivelse i 2015 har den frie Python/QT-ramme LabelImg vundet popularitet i crowdsourced annoteringsforsøg, med en dedikeret lokal installation. Dog observerer BRIMA-forskerne, at LabelImg fokuserer på PascalVOC- og YOLO-standarder, ikke understøtter MS COCO JSON-format og afviser polygonale kontur-værktøjer til fordel for simple rektangulære fangstområder (der vil kræve efterfølgende segmentering), i annotation efforts, med en dedikeret lokal installation.