En webbaserad bildannoteringsverktyg för datorseende-datasets

Forskare från Finland har utvecklat ett webbaserat bildmärkningsverktyg som syftar till att förbättra lätthet och hastighet i de tråkiga bildannoteringsprocesserna för datorseende-datasets. Installerat som en OS-agnostisk tillägg för de mest populära webbläsarmotorerna, möjliggör det nya verktyget för användare att “annotera medan de surfar fritt”, snarare än att behöva lägga en märkningsession i sammanhanget med en dedikerad installation eller att köra klient-sidig kod och andra speciella omständigheter.

Benämnt BRIMA (Låg-överhöghetswebb-baserat bildmärkningsverktyg), utvecklades systemet vid Jyväskylä universitet. Det tar bort behovet av att skrapa och sammanställa dataset i lokala eller fjärrstyrd kataloger, och kan konfigureras för att hämta användbar data från de olika dataparametrarna som finns tillgängliga på alla offentliga plattformar.

BRIMA i aktion. Källa: https://arxiv.org/pdf/2107.06351.pdf

På detta sätt undanröjer BRIMA (som kommer att presenteras på ICIP 2021, då koden också kommer att göras tillgänglig) de potentiella hinder som kan uppstå när automatiserade webbskrapningssystem blockeras via IP-intervall eller andra metoder, och förhindras från att samla in data – en scenario som kommer att bli allt vanligare när IP-skydd blir allt viktigare, som det nyligen har gjort med Microsofts AI-drivna kodgenereringsverktyg, Copilot.

Eftersom BRIMA är avsett enbart för människo-baserad annotering, är dess användning också mindre benägen att utlösa andra typer av hinder, såsom CAPTCHA-utmaningar eller andra automatiserade system som är avsedda att blockera datainsamlingssystem.

Anpassningsbara datainsamlingsegenskaper

BRIMA implementeras via en Firefox-tillägg eller Chrome-tillägg på Windows, OSX eller Linux, och kan konfigureras för att mata in relevanta data baserat på datapunkter som en viss plattform kan välja att exponera. Till exempel, när man annoterar bilder i Google Street View, kan systemet ta hänsyn till orienteringen och vypunkten för linsen, och registrera den exakta geografiska platsen för det objekt som specificeras under uppmärksamhet av användaren.

BRIMA testades i september 2020 av dess skapare, under ett samarbete med en crowdsourcad initiativ för att generera ett objektidentifieringsdataset för CCTV-objekt (videosurveillancekameror monterade i offentliga utrymmen eller synliga från offentliga utrymmen).

Systemet består av en lätt JavaScript-klient-sidig installation i form av webbläsgtillägget, och en server-sidig aspekt som tar emot och sammanställer annoteringsdata. Referensimplementeringar av server-sidans installation skrevs i Python och PHP med Flask och Swagger/OpenAPI, men forskarna betonar att den centrala bearbetningsarkitekturen lätt kan flyttas till andra språk och konfigurationer.

Webbläsgtillägget och servern kommunicerar via RESTful API-förfrågningar och HTTP/XHR, med klient-sidans data skickas hem i ett JSON-format som är kompatibelt med MS COCO. Detta innebär att data är omedelbart användbart med en mängd olika populära objektidentifieringsramverk, inklusive olika bakändar till TensorFlow, såsom Facebooks Detectron2 och CenterMask2.

Projektspecifika verktyg

Trots den generiska naturen hos BRIMA, kan det konfigureras till högt specifika datainsamlingskonfigurationer, inklusive påtvingande av rullgardinsmenyer och andra typer av kontextuell inmatning relaterad till ett visst område. I bilden nedan ser vi att en rullgardinsmeny relaterad till kamerainformation har skrivits in i BRIMA, så att en grupp annotatorer kan tillhandahålla detaljerad och projektrelevant information.

Denna ytterligare verktyg kan konfigureras lokalt. Tillägget har också enkel installation och konfigurerbara tangentbordsgenvägar, tillsammans med färgkodade gränssnittselement.

Arbetet bygger på ett antal försök under de senaste åren för att förbättra möjligheten till bildannotering för webb-baserad eller offentligt tillgänglig data. Verktyget PhotoStuff, som stöds av DARPA, erbjuder online-annotering via en dedikerad webbportal, och kan köras på den semantiska webben eller som en fristående applikation; 2004 föreslog UC Berkeley Photo Annotation on a Camera Phone, som i hög grad utnyttjade metadata, på grund av begränsningarna i nätverks täckning och vyport begränsningar under den tiden; MITs 2005 LabelMe-projekt närmade sig också webb-baserad annotering, med ett beroende av MATLAB-verktyg;

Sedan dess release 2015, har den fria Python/QT-ramverket LabelImg vunnit popularitet i crowdsourcade annoteringsinsatser, med en dedikerad lokal installation. Men BRIMA-forskarna observerar att LabelImg fokuserar på PascalVOC och YOLO-standarder, stöder inte MS COCO JSON-format, och undviker polygonala konturverktyg till förmån för enkla rektangulära infångningsområden (vilket kommer att kräva efterföljande segmentering).