Uma Ferramenta de Anotação de Imagens Baseada em Navegador para Conjuntos de Dados de Visão Computacional

Pesquisadores da Finlândia desenvolveram uma ferramenta de marcação de imagens baseada em navegador com o objetivo de melhorar a facilidade e a velocidade dos processos de anotação de imagens tediosos para conjuntos de dados de visão computacional. Instalada como uma extensão agnóstica de sistema operacional para os principais motores de navegador, a nova ferramenta permite que os usuários “anotem enquanto navegam livremente”, em vez de precisarem colocar uma sessão de marcação no contexto de uma configuração dedicada ou executar código de cliente e outras circunstâncias especiais.

Intitulada BRIMA (Ferramenta de Anotação de Imagens Baseada em Navegador de Baixa Sobrecarga), o sistema foi desenvolvido na Universidade de Jyväskylä. Ele remove a necessidade de raspar e compilar conjuntos de dados em diretórios locais ou remotos e pode ser configurado para derivar dados úteis dos vários parâmetros de dados disponíveis em qualquer plataforma de frente para o público.

BRIMA em ação. Fonte: https://arxiv.org/pdf/2107.06351.pdf

Desta forma, a BRIMA (que será apresentada na ICIP 2021, quando o código também será disponibilizado) elimina os obstáculos potenciais que podem surgir quando os sistemas de raspagem de web automatizados são bloqueados por meio de intervalos de IP ou outros métodos e impedidos de coletar dados – um cenário que está prestes a se tornar mais comum à medida que a proteção de IP ganha cada vez mais atenção, como recentemente feito com a ferramenta de geração de código de IA da Microsoft, Copilot.

Como a BRIMA é destinada exclusivamente à anotação baseada em humanos, seu uso também é menos provável de acionar outros tipos de obstáculos, como desafios de CAPTCHA ou outros sistemas automatizados destinados a bloquear algoritmos de coleta de dados.

Capacidades de Coleta de Dados Adaptáveis

A BRIMA é implementada por meio de uma extensão do Firefox ou uma extensão do Chrome no Windows, OSX ou Linux e pode ser configurada para ingerir dados importantes com base em pontos de dados que uma plataforma específica possa escolher expor. Por exemplo, ao anotar imagens no Google Street View, o sistema pode levar em conta a orientação e o ponto de vista da lente e registrar a localização geográfica exata do objeto especificado sob atenção do usuário.

A BRIMA foi testada em setembro de 2020 por seus criadores, durante uma colaboração em uma iniciativa de crowdsourcing para gerar um conjunto de dados de detecção de objetos para objetos de CCTV (câmeras de vigilância de vídeo montadas em espaços públicos ou visíveis a partir de espaços públicos).

O sistema é composto por uma instalação de cliente leve em JavaScript no formato de extensão de navegador e um aspecto de servidor que recebe e compila os dados de anotação. Implementações de referência da instalação de servidor foram escritas em Python e PHP com Flask e Swagger/OpenAPI, mas os pesquisadores enfatizam que a arquitetura de processamento central pode ser facilmente portada para outras linguagens e configurações.

A extensão do navegador e o servidor se comunicam por meio de solicitações de API RESTful e HTTP/XHR, com os dados do cliente enviados em um formato JSON compatível com o MS COCO. Isso significa que os dados são imediatamente utilizáveis com uma variedade de frameworks de detecção de objetos mais populares, incluindo back-ends diversificados para o TensorFlow, como o Detectron2 da Facebook e o CenterMask2.

Ferramentas Específicas de Projeto

Apesar da natureza genérica da BRIMA, ela pode ser configurada em configurações de coleta de dados altamente específicas, incluindo a imposição de menus suspensos e outros tipos de entrada contextual relacionados a um domínio específico. Na imagem abaixo, vemos que um menu suspenso relacionado a informações de câmera foi escrito na BRIMA, para que um grupo de anotadores possa fornecer informações detalhadas e relevantes para o projeto.

Essa ferramenta adicional pode ser configurada localmente. A extensão também apresenta instalação fácil e atalhos de teclado configuráveis, juntamente com elementos de interface do usuário coloridos.

O trabalho se baseia em uma série de tentativas nos últimos anos para melhorar a facilidade de anotação de imagens para dados obtidos na web ou em plataformas de frente para o público. A ferramenta PhotoStuff, apoiada pela DARPA, oferece anotação online por meio de um portal da web dedicado e pode ser executada na web semântica ou como um aplicativo autônomo; em 2004, a UC Berkeley propôs Anotação de Fotos em um Telefone Celular, que aproveitou fortemente os metadados devido às limitações da cobertura de rede e às limitações da viewport da época; o projeto LabelMe do MIT em 2005 também abordou a anotação baseada em navegador, com uma dependência de ferramentas MATLAB;

Desde o seu lançamento em 2015, o framework FOSS Python/QT LabelImg ganhou popularidade em esforços de anotação de crowdsourcing, com uma instalação local dedicada. No entanto, os pesquisadores da BRIMA observam que o LabelImg se concentra nos padrões PascalVOC e YOLO, não suporta o formato JSON do MS COCO e evita ferramentas de contorno poligonal em favor de regiões de captura retangulares simples (que exigirão segmentação subsequente). annotation efforts, with a dedicated local installation. However, the BRIMA researchers observe that LabelImg centers on PascalVOC and YOLO standards, does not support MS COCO JSON format, and eschews polygonal outlining tools in favor of simple rectangular capture regions (which will require subsequent segmentation).