Ein browserbasiertes Bildannotations-Tool für Computer-Vision-Datensätze

Forscher aus Finnland haben ein browserbasiertes Bildbeschriftungstool entwickelt, das darauf abzielt, die mühsamen Bildannotierungsprozesse für Computer-Vision-Datensätze zu erleichtern und zu beschleunigen. Als Erweiterung für die beliebtesten Browser-Engines installiert, ermöglicht das neue Tool den Benutzern, “während des freien Browsens zu annotieren”, anstatt eine Beschriftungssitzung in den Kontext einer dedizierten Einrichtung setzen oder Client-Code und andere spezielle Umstände ausführen zu müssen.

Das System, das BRIMA (Low-Overhead-Browser-only-Image-Annotation-Tool) genannt wird, wurde an der Universität Jyväskylä entwickelt. Es entfernt die Notwendigkeit, Datensätze in lokale oder remote-Verzeichnisse zu sammeln und zu kompilieren, und kann so konfiguriert werden, dass es nützliche Daten aus den verschiedenen Datenparametern auf jeder öffentlich zugänglichen Plattform ableitet.

BRIMA in Aktion. Quelle: https://arxiv.org/pdf/2107.06351.pdf

Auf diese Weise vermeidet BRIMA (das auf der ICIP 2021 vorgestellt wird, wenn der Code auch verfügbar gemacht wird) die potenziellen Hindernisse, die auftreten können, wenn automatisierte Web-Scraping-Systeme durch IP-Bereiche oder andere Methoden blockiert werden und daran gehindert werden, Daten zu sammeln – ein Szenario, das immer häufiger werden wird, da der Schutz von IP-Rechten immer mehr in den Fokus rückt, wie es jüngst mit Microsofts AI-getriebenem Code-Generierungstool, Copilot, der Fall war.

Da BRIMA ausschließlich für menschliche Annotation konzipiert ist, ist seine Verwendung auch weniger wahrscheinlich, andere Arten von Hindernissen auszulösen, wie CAPTCHA-Herausforderungen oder andere automatisierte Systeme, die darauf ausgelegt sind, Daten-Sammel-Algorithmen zu blockieren.

Anpassungsfähige Daten-Sammel-Funktionen

BRIMA wird als Firefox-Add-on oder Chrome-Erweiterung auf Windows, OSX oder Linux implementiert und kann so konfiguriert werden, dass es relevante Daten auf der Grundlage von Datenpunkten einliest, die eine bestimmte Plattform möglicherweise verfügbar macht. Zum Beispiel kann das System, wenn es Bilder in Google Street View annotiert, die Ausrichtung und Perspektive des Objektivs berücksichtigen und die genaue geografische Lage des Objekts registrieren, das vom Benutzer ausgewählt wird.

BRIMA wurde im September 2020 von seinen Entwicklern getestet, während einer Zusammenarbeit an einer Crowdsourcing-Initiative, um ein Objekterkennungs-Datensatz für CCTV-Objekte (Video-Überwachungskameras, die in öffentlichen Räumen montiert sind oder von öffentlichen Räumen aus sichtbar sind) zu erstellen.

Das System besteht aus einer leichten JavaScript-Client-Seite in Form der Browser-Erweiterung und einer Server-Seite, die die Annotation-Daten empfängt und kompiliert. Referenz-Implementierungen der Server-Seite wurden in Python und PHP mit Flask und Swagger/OpenAPI geschrieben, aber die Forscher betonen, dass die zentrale Verarbeitungs-Architektur leicht auf andere Sprachen und Konfigurationen portiert werden kann.

Die Browser-Erweiterung und der Server kommunizieren über RESTful-API-Anfragen und HTTP/XHR, wobei die Client-Daten im JSON-Format gesendet werden, das mit MS COCO kompatibel ist. Dies bedeutet, dass die Daten sofort mit einer Vielzahl der beliebtesten Objekterkennungs-Frameworks verwendet werden können, einschließlich diverser Back-Ends für TensorFlow, wie Facebooks Detectron2 und CenterMask2.

Projekt-spezifische Werkzeuge

Trotz der generischen Natur von BRIMA kann es in hochspezifische Daten-Sammel-Konfigurationen konfiguriert werden, einschließlich der Einrichtung von Drop-Down-Menüs und anderen Arten von kontextbezogenen Eingaben, die mit einem bestimmten Bereich zusammenhängen. Im Bild unten sehen wir, dass ein Drop-Down-Menü in Bezug auf Kamera-Informationen in BRIMA geschrieben wurde, damit eine Gruppe von Annotatoren detaillierte und projektrelevante Informationen liefern kann.

Diese zusätzlichen Werkzeuge können lokal konfiguriert werden. Die Erweiterung verfügt auch über eine einfache Installation und konfigurierbare Tastenkürzel sowie farbcodierte Benutzeroberflächenelemente.

Die Arbeit baut auf einer Reihe von Versuchen in den letzten Jahren auf, die Einrichtung von Bildannotationen für Web-erhaltene oder öffentlich zugängliche Daten zu verbessern. Das PhotoStuff-Tool, das von DARPA unterstützt wird, bietet Online-Annotationen über ein dediziertes Web-Portal an und kann auf dem semantischen Web oder als eigenständige Anwendung ausgeführt werden; 2004 schlug die UC Berkeley Photo Annotation on a Camera Phone vor, das stark auf Metadaten setzte, aufgrund der Einschränkungen der Netzwerkabdeckung und der Viewport-Einschränkungen der Ära; das LabelMe-Projekt des MIT aus dem Jahr 2005 LabelMe näherte sich der browserbasierten Annotation, mit einer Abhängigkeit von MATLAB-Tools;

Seit seiner Veröffentlichung im Jahr 2015 hat das FOSS-Python/QT-Framework LabelImg an Popularität bei Crowdsourcing-Anstrengungen gewonnen, mit einer dedizierten lokalen Installation. Allerdings stellen die BRIMA-Forscher fest, dass LabelImg auf PascalVOC- und YOLO-Standards setzt, das MS-COCO-JSON-Format nicht unterstützt und polygonale Umrandungstools zugunsten einfacher rechteckiger Erfassungsbereiche (die eine nachfolgende Segmentierung erfordern) ablehnt.