'n Blaaier-gebaseerde beeldannotasie-instrument vir rekenaarvisie-datastelle

Navorsers van Finland het 'n blaaier-gebaseerde beeldetiketteringsinstrument ontwikkel wat bedoel is om die gemak en spoed van vervelige beeldaantekeningprosesse vir rekenaarvisie-datastelle te verbeter. Geïnstalleer as 'n OS-agnostiese uitbreiding vir die gewildste blaaier-enjins, stel die nuwe hulpmiddel gebruikers in staat om 'annoteer te maak terwyl hulle vrylik blaai', eerder as om 'n etiketsessie in die konteks van 'n toegewyde opstelling te plaas, of om kliënt- kantkode en ander spesiale omstandighede.

Geregtig BRIMA (Low-Overhead BRowser-only IMage Annotation Tool), die stelsel is ontwikkel by die Universiteit van Jyväskylä. Dit verwyder die behoefte om datastelle te krap en saam te stel in plaaslike of afgeleë dopgehou, en kan gekonfigureer word om nuttige data af te lei van die verskillende dataparameters wat beskikbaar is op enige publieke platform.

BRIMA in aksie. Bron: https://arxiv.org/pdf/2107.06351.pdf

Op hierdie manier BRIMA (wat aangebied sal word by ICIP 2021, wanneer die kode sal ook beskikbaar gestel word) die potensiële struikelblokke uit die weg ruim wat kan ontstaan ​​wanneer outomatiese webskraapstelsels via IP-reekse of ander metodes geblokkeer word en belemmer word om data in te samel – 'n scenario wat meer algemeen sal word namate IP-beskerming al hoe meer in fokus kom. , soos dit het onlangs gedoen met Microsoft se KI-gedrewe kodegenereringsinstrument, Copilot.

Aangesien BRIMA uitsluitlik vir mensgebaseerde annotasies bedoel is, is die gebruik daarvan ook minder geneig om ander soorte padblokkades te veroorsaak, soos CAPTCHA-uitdagings, of ander outomatiese stelsels wat bedoel is om data-insamelingsalgoritmes te blokkeer.

Aanpasbare data-insamelingsvermoëns

BRIMA word geïmplementeer via 'n Firefox-byvoeging of Chrome-uitbreiding op Windows, OSX of Linux, en kan gekonfigureer word om opvallende data in te neem gebaseer op datapunte wat 'n spesifieke platform kan kies om bloot te lê. Byvoorbeeld, wanneer prente in Google Street View annoteer word, kan die stelsel rekening hou met die oriëntasie en standpunt van die lens, en die presiese geo-ligging registreer van die voorwerp wat deur die gebruiker gespesifiseer word.

BRIMA is in September 2020 deur sy skeppers getoets tydens samewerking aan 'n skare-inisiatief om 'n objekbespeuringsdatastel vir CCTV-voorwerpe te genereer (videobewakingskameras wat in openbare ruimtes gemonteer is, of vanaf openbare ruimtes gesien kan word).

Die stelsel bestaan ​​uit 'n liggewig JavaScript-kliëntkantinstallasie in die vorm van die blaaieruitbreiding, en 'n bedienerkant-aspek wat die annotasiedata ontvang en saamstel. Verwysingsimplementerings van die bedienerkant-installasie is in Python en PHP geskryf met Flask en Swagger/OpenAPI, maar die navorsers beklemtoon dat die sentrale verwerkingsargitektuur maklik na ander tale en konfigurasies oorgedra kan word.

Die blaaieruitbreiding en die bediener kommunikeer via RESTful API-versoeke en HTTP/XHR, met die kliënt-kant-data wat huis toe gestuur word in 'n JSON-formaat wat versoenbaar is met MS COCO. Dit beteken dat die data onmiddellik bruikbaar is met 'n verskeidenheid van die gewildste voorwerpopsporingsraamwerke, insluitend uiteenlopende agterkante van TensorFlow, soos Facebook se Detektor 2, en Sentrummasker2.

Projek-spesifieke gereedskap

Ten spyte van die generiese aard van BRIMA, kan dit gekonfigureer word in hoogs spesifieke data-insamelingskonfigurasies, insluitend die oplegging van aftrekkieslyste en ander soorte kontekstuele invoer wat met 'n spesifieke domein verband hou. In die prent hieronder sien ons dat 'n aftrekkieslys met betrekking tot kamera-inligting in BRIMA geskryf is, sodat 'n groep annoteerders gedetailleerde en projek-relevante inligting kan verskaf.

Hierdie bykomende gereedskap kan plaaslik gekonfigureer word. Die uitbreiding bevat ook maklike installasie en konfigureerbare sleutelbordkortpaaie, saam met kleurgekodeerde UI-elemente.

Die werk bou voort op 'n aantal pogings in onlangse jare om die fasiliteit van beeldannotasie te verbeter vir webverkryde of publieke data. Die PhotoStuff-instrument, ondersteun deur DARPA, bied aanlyn-aantekeninge via 'n toegewyde webportaal, en kan op die semantiese web of as 'n selfstandige toepassing uitgevoer word; in 2004 UC Berkeley voorgestel Foto-aantekening op 'n kamerafoon, wat grootliks metadata aangewend het, as gevolg van die beperkings van netwerkdekking en die uitkykpoortbeperkings van die era; MIT se 2005 LabelMe projek het ook blaaiergebaseerde annotasie benader, met 'n afhanklikheid van MATLAB-nutsgoed;

Sedert sy vrystelling in 2015, die FOSS Python/QT-raamwerk EtiketImg het gewild geword in skare-aantekeningpogings, met 'n toegewyde plaaslike installasie. Die BRIMA-navorsers neem egter waar dat LabelImg op PascalVOC- en YOLO-standaarde sentreer, nie MS COCO JSON-formaat ondersteun nie, en veelhoekige omlyningsinstrumente vermy ten gunste van eenvoudige reghoekige vasvangstreke (wat daaropvolgende segmentering sal vereis).