En nettleserbasert bildeannoteringsverktøy for datavisjonsdatasett

Forskere fra Finland har utviklet et nettleserbasert bildeannoteringsverktøy som skal forbedre og påskynde de tidskrevende prosessene med bildeannotering for datavisjonsdatasett. Installert som en utvidelse for de mest populære nettlesermotorene, kan verktøyet brukes til å “annotere mens du blarferdig”, uten å måtte plassere en annoteringssesjon i en dedikert sammenheng eller kjøre klient-sidig kode og andre spesielle omstendigheter.

Verktøyet, som heter BRIMA (Low-Overhead BRowser-only IMage Annotation tool), ble utviklet ved Universitetet i Jyväskylä. Det fjerner behovet for å skrape og kompilere datasett til lokale eller fjernlige kataloger, og kan konfigureres til å hente nyttig data fra de ulike dataparametrene som er tilgjengelige på enhver offentlig tilgjengelig plattform.

BRIMA i aksjon. Kilde: https://arxiv.org/pdf/2107.06351.pdf

På denne måten eliminerer BRIMA (som skal presenteres på ICIP 2021, når koden også vil bli gjort tilgjengelig) de potensielle hindrene som kan oppstå når automatiserte webskrapingssystemer blokkeres via IP-områder eller andre metoder, og hindres fra å samle inn data – en scenario som vil bli mer vanlig når IP-beskyttelse blir mer fokusert, som det nylig har gjort med Microsofts AI-drevne kodegenereringsverktøy, Copilot.

Siden BRIMA er ment kun for menneskebasert annotering, er det også mindre sannsynlig at det vil utløse andre typer hindrer, som CAPTCHA-utfordringer eller andre automatiserte systemer som er ment å blokkere datainnsamlingsalgoritmer.

Tilpassede datainnsamlingsfunksjoner

BRIMA er implementert via en Firefox-utvidelse eller Chrome-utvidelse på Windows, OSX eller Linux, og kan konfigureres til å innta relevante data basert på datapunkter som en bestemt plattform kan velge å eksponere. For eksempel, når man annoterer bilder i Google Street View, kan systemet ta hensyn til orienteringen og synsvinkelen til linser, og registrere den eksakte geografiske beliggenheten til objektet som er under oppmerksomhet fra brukeren.

BRIMA ble testet i september 2020 av sine skapere, under et samarbeid om en crowdsourcet-initiativ til å generere et objektgjenkjenningdatasett for CCTV-objekter (overvåkingskameraer montert i offentlige rom eller synlige fra offentlige rom).

Systemet består av en lettvektig JavaScript-klientsideinstallasjon i form av nettleserutvidelsen, og en serverside-aspekt som mottar og kompilerer annoteringsdataene. Referanseimplementasjoner av serversideinstallasjonen ble skrevet i Python og PHP med Flask og Swagger/OpenAPI, men forskerne understreker at den sentrale prosessarkitekturen lett kan overføres til andre språk og konfigurasjoner.

Nettleserutvidelsen og serveren kommuniserer via RESTful API-forespørsler og HTTP/XHR, med klient-sidig data sendt hjem i et JSON-format som er kompatibelt med MS COCO. Dette betyr at dataene er umiddelbart brukbare med en rekke av de mest populære objektgjenkjenningrammeverkene, inkludert diverse bak-ender til TensorFlow, som Facebooks Detectron2, og CenterMask2.

Prosjektspesifikt verktøy

Til tross for den generiske naturen til BRIMA, kan det konfigureres til svært spesifikke datainnsamlingskonfigurasjoner, inkludert pålegg av nedtrekksmenyer og andre typer kontekstuell innmatning i forhold til en bestemt domene. I bildet under ser vi at en nedtrekksmeny relatert til kamerainformasjon har blitt skrevet inn i BRIMA, så en gruppe annotatorer kan gi detaljert og prosjektrelevant informasjon.

Dette tilleggsverktøyet kan konfigureres lokalt. Utvidelsen har også enkel installasjon og konfigurerbare tastatursnøkler, samt fargekodede brukergrensesnittselementer.

Arbeidet bygger på en rekke forsøk i de siste årene for å forbedre fasiliteten for bildeannotering for web-oppnåelige eller offentlig tilgjengelige data. Verktøyet PhotoStuff, støttet av DARPA, tilbyr online-annotering via en dedikert webportal, og kan kjøres på det semantiske web eller som en selvstendig applikasjon; i 2004 foreslo UC Berkeley Photo Annotation on a Camera Phone, som i stor grad benyttet metadata på grunn av begrensningene i nettverksdekning og viewport-begrensningene i den tiden; MITs 2005 LabelMe-prosjekt nærmet seg også nettleserbasert annotering, med en avhengighet av MATLAB-verktøy;

Siden utgivelsen i 2015 har FOSS Python/QT-rammeverket LabelImg vunnet popularitet i crowdsourcet-annoteringsbestrebelser, med en dedikert lokal installasjon. However, BRIMA-forskerne observerer at LabelImg fokuserer på PascalVOC og YOLO-standarden, ikke støtter MS COCO JSON-format, og unngår polygonale omrissverktøy til fordel for enkle rektangulære fangstområder (som vil kreve påfølgende segmentering). annotation efforts, with a dedicated local installation. However, the BRIMA researchers observe that LabelImg centers on PascalVOC and YOLO standards, does not support MS COCO JSON format, and eschews polygonal outlining tools in favor of simple rectangular capture regions (which will require subsequent segmentation).