Angle d’Anderson
Un outil d’annotation d’images basé sur un navigateur pour les jeux de données de vision par ordinateur
Ajouter Unite.AI à vos sources préférées sur Google
Des chercheurs de Finlande ont développé un outil d’étiquetage d’images basé sur un navigateur destiné à améliorer la facilité et la rapidité des processus d’annotation d’images fastidieux pour les jeux de données de vision par ordinateur. Installé en tant qu’extension OS-agnostique pour les moteurs de navigateur les plus populaires, l’outil permet aux utilisateurs d’« annoter tout en naviguant librement », plutôt que de devoir insérer une session d’étiquetage dans le contexte d’une configuration dédiée ou d’exécuter du code client et d’autres circonstances spéciales.
Intitulé BRIMA (Outil d’annotation d’images basé sur un navigateur à faible surcharge), le système a été développé à l’Université de Jyväskylä. Il élimine la nécessité de rassembler et de compiler des jeux de données dans des répertoires locaux ou distants et peut être configuré pour dériver des données utiles à partir des différents paramètres de données disponibles sur toute plate-forme publique.
BRIMA en action. Source: https://arxiv.org/pdf/2107.06351.pdf
De cette façon, BRIMA (qui sera présenté à ICIP 2021, lorsque le code sera également mis à disposition) élimine les obstacles potentiels qui peuvent survenir lorsque les systèmes de scraping Web automatisés sont bloqués via des plages d’adresses IP ou d’autres méthodes, et empêchés de collecter des données – un scénario qui est susceptible de devenir plus courant à mesure que la protection des adresses IP se concentre de plus en plus, comme cela a récemment été le cas avec l’outil de génération de code basé sur l’IA de Microsoft, Copilot.
Puisque BRIMA est destiné uniquement à l’annotation basée sur l’homme, son utilisation est également moins susceptible de déclencher d’autres types d’obstacles, tels que les défis CAPTCHA ou d’autres systèmes automatisés destinés à bloquer les algorithmes de collecte de données.
Capacités de collecte de données adaptatives
BRIMA est mis en œuvre via une extension Firefox ou une extension Chrome sur Windows, OSX ou Linux, et peut être configuré pour ingérer des données pertinentes en fonction des points de données que une plate-forme particulière peut choisir d’exposer. Par exemple, lors de l’annotation d’images dans Google Street View, le système peut tenir compte de l’orientation et du point de vue de l’objectif, et enregistrer la localisation géographique exacte de l’objet spécifié sous l’attention de l’utilisateur.
BRIMA a été testé en septembre 2020 par ses créateurs, lors d’une collaboration sur une initiative de crowdsourcing pour générer un jeu de données de détection d’objets pour les objets de vidéosurveillance (caméras de surveillance installées dans des espaces publics ou visibles depuis des espaces publics).
Le système se compose d’une installation légère en JavaScript côté client sous la forme d’une extension de navigateur, et d’un aspect côté serveur qui reçoit et compile les données d’annotation. Les implémentations de référence de l’installation côté serveur ont été écrites en Python et PHP avec Flask et Swagger/OpenAPI, mais les chercheurs soulignent que l’architecture de traitement central peut facilement être portée sur d’autres langages et configurations.
L’extension de navigateur et le serveur communiquent via des requêtes API RESTful et HTTP/XHR, avec les données côté client envoyées sous forme de JSON compatible avec MS COCO. Cela signifie que les données sont immédiatement utilisables avec une variété de cadres de détection d’objets les plus populaires, notamment des back-ends diversifiés pour TensorFlow, tels que la bibliothèque de détection d’objets basée sur PyTorch de Facebook, Detectron2, et CenterMask2.
Outils spécifiques au projet
Malgré la nature générique de BRIMA, il peut être configuré dans des configurations de collecte de données très spécifiques, notamment l’imposition de menus déroulants et d’autres types d’entrée contextuelle liés à un domaine particulier. Dans l’image ci-dessous, nous voyons qu’un menu déroulant lié aux informations de caméra a été écrit dans BRIMA, de sorte qu’un groupe d’annotateurs puisse fournir des informations détaillées et pertinentes pour le projet.
Cet outil peut être configuré localement. L’extension comporte également une installation facile et des raccourcis clavier configurables, ainsi que des éléments d’interface utilisateur codés par couleur.
Le travail s’appuie sur plusieurs tentatives récentes pour améliorer la facilité d’annotation d’images pour les données obtenues sur le Web ou les données accessibles publiquement. L’outil PhotoStuff, soutenu par DARPA, propose une annotation en ligne via un portail Web dédié et peut être exécuté sur le Web sémantique ou en tant qu’application autonome; en 2004, l’UC Berkeley a proposé Photo Annotation on a Camera Phone, qui a fortement utilisé les métadonnées en raison des limitations de la couverture réseau et des limitations de la vue de l’époque; le projet LabelMe du MIT en 2005 a également abordé l’annotation basée sur un navigateur, avec une dépendance à l’égard des outils MATLAB;
Depuis sa sortie en 2015, le cadre FOSS Python/QT LabelImg a gagné en popularité dans les efforts d’annotation de crowdsourcing, avec une installation locale dédiée. Cependant, les chercheurs de BRIMA observent que LabelImg se concentre sur les normes PascalVOC et YOLO, ne prend pas en charge le format JSON MS COCO et évite les outils de délimitation polygonale au profit de régions de capture rectangulaires simples (qui nécessiteront une segmentation ultérieure).
