Selainpohjainen kuvan annotaatio-työkalu tietokoneen näön aineistoille

Tutkijat Suomesta ovat kehittäneet selainpohjaisen kuvamerkintätyökalun, jonka tarkoituksena on parantaa kuvien merkintäprosessien helppoutta ja nopeutta tietokoneen näön aineistoissa. Asennettuna suosituimpien selainmoottorien laajennuksena, uusi työkalu mahdollistaa käyttäjille “merkintän vapaasti selaillessa”, ilman, että heidän tarvitse asettaa merkintäsessiota omaksi kokonaisuudekseen tai suorittaa asiakaspuolen koodia ja muita erityisiä olosuhteita.

Nimeltään BRIMA (Low-Overhead BRowser-only IMage Annotation tool), järjestelmä kehitettiin Jyväskylän yliopistossa. Se poistaa tarpeen kerätä ja koota aineistoja paikallisiin tai etäisiin kansioihin, ja se voidaan konfiguroida johtamaan hyödyllistä tietoa eri data-parametreistä, jotka ovat saatavilla missä tahansa julkisessa palvelussa.

BRIMA toiminnassa. Lähde: https://arxiv.org/pdf/2107.06351.pdf

Tällä tavoin BRIMA (joka esitellään ICIP 2021:ssa, jolloin koodi tulee myös saataville) poistaa mahdolliset esteet, jotka voivat syntyä, kun automaattiset verkkokäyttäjäjärjestelmät estetään IP-alueiden tai muiden menetelmien kautta ja joutuvat vaikeuksiin kerätessään tietoja – tilanne, josta on tulossa yleisempi, kun IP-suojelu tulee yhä enemmän keskusteluun, kuten se on tehnyt Microsoftin AI-ohjattuun koodigeneraattoriin, Copilottiin.

Koska BRIMA on tarkoitettu ainoastaan ihmisperäiselle merkinnälle, sen käyttö on myös vähemmän todennäköistä laukaistaan muita esteitä, kuten CAPTCHA-haasteita tai muita automaattisia järjestelmiä, jotka on tarkoitettu estämään tietojen keräämisen algoritmit.

Soveltuvat datakeruumahdollisuudet

BRIMA toteutetaan Firefox-laajennuksena tai Chrome-laajennuksena Windows-, OSX- tai Linux-järjestelmissä, ja se voidaan konfiguroida ottamaan vastaan olennaiset tiedot data-pisteiden perusteella, joita tietty palvelu voi valita julkaista. Esimerkiksi, kun merkintää tehdään Google Street View -kuvissa, järjestelmä voidaan ottaa huomioon kameran suunta ja näkökulma sekä rekisteröidä tarkka sijainti kohteelle, jota käyttäjä on valinnut.

BRIMA testattiin syyskuussa 2020 sen kehittäjien toimesta yhteistyössä joukkorahoitettuun aloitteen, jonka tavoitteena oli luoda objektitunnistusaineisto CCTV-kohteille (videovalvontakamerat, jotka on asennettu julkisiin tiloihin tai ovat näkyvissä julkisista tiloista).

Järjestelmä koostuu kevyestä JavaScript-asiakaspuolen asennuksesta selainlaajennuksen muodossa ja palvelinpuoleisesta osasta, joka vastaanottaa ja kokoaa merkintätiedot. Viitekäytännöt palvelinpuoleisesta asennuksesta on kirjoitettu Pythonilla ja PHP:llä Flaskin ja Swagger/OpenAPI:n avulla, mutta tutkijat korostavat, että keskussuoritusarkkitehtuuri voidaan helposti siirtää muihin kieliversioihin ja konfiguraatioihin.

Selainlaajennus ja palvelin viestivät RESTful API-pyyntöjen ja HTTP/XHR:n kautta, ja asiakaspuolen tiedot lähetetään kotiin JSON-muodossa, joka on yhteensopiva MS COCO:n kanssa. Tämä tarkoittaa, että tiedot ovat välittömästi käytettävissä useimmissa suosituimmista objektitunnistuskehyksissä, mukaan lukien moninaiset TensorFlowin taustat, kuten Facebookin Detectron2 ja CenterMask2.

Hankkeen mukainen työkalu

Vaikka BRIMA on yleispätevä, se voidaan konfiguroida hyvin spesifeiksi datakeruumuodostelmiin, mukaan lukien pudotusvalikoiden ja muiden kontekstuaalisten syötteiden asettaminen tietyn alan mukaisesti. Alla olevassa kuvassa nähdään, että kameratietoihin liittyvä pudotusvalikko on kirjoitettu BRIMA:han, jotta annotaattoriryhmä voi antaa yksityiskohtaisia ja hankkeen mukaisia tietoja.

Tämä lisätyökalu voidaan konfiguroida paikallisesti. Laajennuksessa on myös helppo asennus ja mukautuvat näppäimistölyhytkomennot sekä värikoodatut käyttöliittymäelementit.

Työ perustuu useisiin yrityksiin viime vuosina parantaa kuvien merkintämahdollisuuksia verkkotiedoista tai julkisista aineistoista. PhotoStuff-työkalu, jota DARPA tukee, tarjoaa verkossa merkintämahdollisuuden omalla verkkosivulla, ja se voidaan suorittaa semanttisella verkkotilassa tai itsenäisesti; vuonna 2004 UC Berkeley ehdotti Photo Annotation on a Camera Phone, joka hyödynsi metadataa verkko- ja näyttörajoitusten vuoksi; MIT:n vuoden 2005 LabelMe-projekti lähestyi myös selainpohjaista merkintää, joka perustui MATLAB-työkaluihin;

Sen julkaisun jälkeen vuonna 2015 FOSS Python/QT-kehyksessä LabelImg on saavuttanut suosiota joukkorahoitettujen merkintäpyrkimysten parissa, omalla paikallisella asennuksella. Kuitenkin BRIMA-tutkijat huomauttavat, että LabelImg keskittyy PascalVOC- ja YOLO-standardeihin, ei tue MS COCO JSON-muotoa, ja hylkää polygonaalisen piirrostyökalun hyväksi yksinkertaisia suorakaiteen kaappausrasioita (jotka edellyttävät myöhemmän segmentoinnin).