Uno strumento di annotazione di immagini basato su browser per set di dati di visione computerizzata

I ricercatori della Finlandia hanno sviluppato uno strumento di etichettatura di immagini basato su browser destinato a migliorare la facilità e la velocità dei processi di annotazione di immagini tediosi per set di dati di visione computerizzata. Installato come estensione agnostica del sistema operativo per i motori di ricerca più popolari, il nuovo strumento consente agli utenti di “annotare mentre si naviga liberamente”, anziché dover inserire una sessione di etichettatura in un contesto di setup dedicato o eseguire codice lato client e altre circostanze speciali.

Intitolato BRIMA (strumento di annotazione di immagini basato su browser con basso sovraccarico), il sistema è stato sviluppato all’Università di Jyväskylä. Rimuove la necessità di raschiare e compilare set di dati in directory locali o remote e può essere configurato per derivare dati utili dai vari parametri di dati disponibili su qualsiasi piattaforma pubblica.

BRIMA in azione. Fonte: https://arxiv.org/pdf/2107.06351.pdf

In questo modo BRIMA (che sarà presentato a ICIP 2021, quando il codice sarà reso disponibile) elimina gli ostacoli potenziali che possono sorgere quando i sistemi di web scraping automatici vengono bloccati tramite intervalli di IP o altri metodi e impediti dal raccogliere dati – uno scenario che è destinato a diventare più comune poiché la protezione IP diventa sempre più importante, come è stato fatto di recente con lo strumento di generazione di codice basato su AI di Microsoft, Copilot.

Poiché BRIMA è destinato esclusivamente all’annotazione basata sull’uomo, il suo utilizzo è anche meno probabile di scatenare altri tipi di ostacoli, come le sfide CAPTCHA o altri sistemi automatici destinati a bloccare gli algoritmi di raccolta dati.

Capacità di raccolta dati adattive

BRIMA è implementato tramite un’estensione di Firefox o un’estensione di Chrome su Windows, OSX o Linux e può essere configurato per ingerire dati salienti in base ai punti di dati che una particolare piattaforma può scegliere di esporre. Ad esempio, quando si annotano immagini in Google Street View, il sistema può tenere conto dell’orientamento e del punto di vista dell’obiettivo e registrare la posizione geografica esatta dell’oggetto specificato sotto l’attenzione dell’utente.

BRIMA è stato testato nel settembre 2020 dai suoi creatori, durante una collaborazione su un’iniziativa di crowdsourcing per generare un set di dati di rilevamento di oggetti per oggetti CCTV (telecamere di sorveglianza montate in spazi pubblici o visibili da spazi pubblici).

Il sistema è composto da un client leggero JavaScript installato sul lato client sotto forma di estensione del browser e da un aspetto server-side che riceve e compila i dati di annotazione. Le implementazioni di riferimento dell’installazione server-side sono state scritte in Python e PHP con Flask e Swagger/OpenAPI, ma i ricercatori sottolineano che l’architettura di elaborazione centrale può essere facilmente portata su altre lingue e configurazioni.

L’estensione del browser e il server comunicano tramite richieste API RESTful e HTTP/XHR, con i dati del lato client inviati a casa in un formato JSON compatibile con MS COCO. Ciò significa che i dati sono immediatamente utilizzabili con una varietà dei framework di rilevamento di oggetti più popolari, tra cui diversi back-end per TensorFlow, come il Detectron2 di Facebook e CenterMask2.

Strumenti specifici del progetto

Nonostante la natura generica di BRIMA, può essere configurato in configurazioni di raccolta dati altamente specifiche, tra cui l’imposizione di menu a discesa e altri tipi di input contestuali relativi a un particolare dominio. Nell’immagine seguente vediamo che un menu a discesa relativo alle informazioni sulla fotocamera è stato scritto in BRIMA, in modo che un gruppo di annotatori possa fornire informazioni dettagliate e rilevanti per il progetto.

Questo strumento aggiuntivo può essere configurato localmente. L’estensione presenta anche un’installazione facile e scorciatoie da tastiera configurabili, insieme a elementi dell’interfaccia utente con codici di colore.

Il lavoro si basa su una serie di tentativi negli ultimi anni di migliorare la facilità di annotazione di immagini per dati ottenuti da web o dati pubblici. Lo strumento PhotoStuff, supportato da DARPA, offre annotazione online tramite un portale web dedicato e può essere eseguito sul web semantico o come applicazione autonoma; nel 2004, l’UC Berkeley ha proposto Annotazione di immagini su un telefono cellulare, che ha sfruttato fortemente i metadati a causa delle limitazioni della copertura di rete e delle limitazioni del viewport dell’epoca; il progetto LabelMe del 2005 del MIT ha anche affrontato l’annotazione basata su browser, con una dipendenza da strumenti MATLAB;

Dal suo rilascio nel 2015, il framework FOSS Python/QT LabelImg ha guadagnato popolarità negli sforzi di annotazione crowdsourced, con un’installazione locale dedicata. Tuttavia, i ricercatori di BRIMA osservano che LabelImg si concentra sugli standard PascalVOC e YOLO, non supporta il formato JSON MS COCO e evita gli strumenti di delimitazione poligonale in favore di regioni di cattura rettangolari semplici (che richiederanno una segmentazione successiva).