인공지능

컴퓨터 비전 데이터 세트를 위한 브라우저 기반 이미지 주석 도구

게재 2021 년 7 월 19 일

업데이트 2022 년 12 월 9 일

마틴 앤더슨

핀란드의 연구원들은 컴퓨터 비전 데이터 세트에 대한 지루한 이미지 주석 프로세스의 용이성과 속도를 향상시키기 위한 브라우저 기반 이미지 라벨링 도구를 개발했습니다. 가장 널리 사용되는 브라우저 엔진을 위한 OS 독립적 확장으로 설치된 이 새로운 도구를 사용하면 사용자는 전용 설정의 컨텍스트에 레이블 지정 세션을 넣거나 클라이언트를 실행할 필요 없이 '자유롭게 탐색하는 동안 주석을 달 수 있습니다'. 사이드 코드 및 기타 특수 상황.

자격이 브리마 (낮은 오버헤드 BRowser 전용 이미지 주석 도구), 이 시스템은 Jyväskylä 대학에서 개발되었습니다. 데이터 세트를 로컬 또는 원격 디렉토리로 스크래핑 및 컴파일할 필요가 없으며 모든 공용 플랫폼에서 사용할 수 있는 다양한 데이터 매개변수에서 유용한 데이터를 파생하도록 구성할 수 있습니다.

작동 중인 BRIMA. 출처 : https://arxiv.org/pdf/2107.06351.pdf

이런 식으로 BRIMA( ICIP 2021, 때 암호 IP 범위 또는 기타 방법을 통해 자동화된 웹 스크래핑 시스템이 차단되고 데이터 수집이 방해될 때 발생할 수 있는 잠재적인 장애물을 제거합니다. IP 보호에 점점 더 초점을 맞추면서 더 일반화될 시나리오입니다. , 그대로 최근에 한 Microsoft의 AI 기반 코드 생성 도구인 Copilot을 사용합니다.

BRIMA는 인간 기반 주석만을 위한 것이기 때문에 CAPTCHA 챌린지 또는 데이터 수집 알고리즘을 차단하기 위한 기타 자동화 시스템과 같은 다른 종류의 장애물을 유발할 가능성도 적습니다.

적응형 데이터 수집 기능

BRIMA는 Windows, OSX 또는 Linux에서 Firefox 애드온 또는 Chrome 확장을 통해 구현되며 특정 플랫폼이 노출하도록 선택할 수 있는 데이터 포인트를 기반으로 중요한 데이터를 수집하도록 구성할 수 있습니다. 예를 들어, Google 스트리트 뷰에서 이미지에 주석을 달 때 시스템은 렌즈의 방향과 관점을 설명하고 사용자가 지정한 개체의 정확한 지리적 위치를 등록할 수 있습니다.

BRIMA는 2020년 XNUMX월 제작자들이 크라우드 소싱 이니셔티브에서 CCTV 객체(공공 장소에 장착되거나 공공 장소에서 볼 수 있는 비디오 감시 카메라)에 대한 객체 감지 데이터 세트를 생성하는 동안 테스트되었습니다.

시스템은 브라우저 확장 형태의 경량 JavaScript 클라이언트 측 설치와 주석 데이터를 수신하고 컴파일하는 서버 측 측면으로 구성됩니다. 서버 측 설치의 참조 구현은 Flask 및 Swagger/OpenAPI를 사용하여 Python 및 PHP로 작성되었지만 연구원은 중앙 처리 아키텍처를 다른 언어 및 구성으로 쉽게 포팅할 수 있다고 강조합니다.

브라우저 확장과 서버는 RESTful API 요청 및 HTTP/XHR을 통해 통신하며 클라이언트 측 데이터는 MS COCO와 호환되는 JSON 형식으로 홈으로 전송됩니다. 즉, Facebook의 디텍트론2및 센터마스크2.

프로젝트별 툴링

BRIMA의 일반적인 특성에도 불구하고 특정 도메인과 관련된 드롭다운 메뉴 및 기타 종류의 상황에 맞는 입력을 포함하여 매우 구체적인 데이터 수집 구성으로 구성할 수 있습니다. 아래 이미지에서 카메라 정보와 관련된 드롭다운 메뉴가 BRIMA에 작성되어 주석 그룹이 상세하고 프로젝트 관련 정보를 제공할 수 있음을 알 수 있습니다.

이 추가 도구는 로컬에서 구성할 수 있습니다. 이 확장 프로그램은 또한 색상으로 구분된 UI 요소와 함께 쉬운 설치 및 구성 가능한 키보드 단축키를 제공합니다.

이 작업은 웹에서 획득하거나 공개적으로 대면하는 데이터에 대한 이미지 주석 기능을 개선하기 위한 최근 몇 년간의 여러 시도를 기반으로 합니다. DARPA에서 지원하는 PhotoStuff 도구는 전용 웹 포털을 통해 온라인 주석을 제공하고 시맨틱 웹 또는 독립 실행형 애플리케이션으로 실행할 수 있습니다. 2004년 UC 버클리에서 제안한 카메라 폰의 사진 주석, 네트워크 범위의 한계와 시대의 뷰포트 한계로 인해 메타데이터를 많이 활용했습니다. 2005년 MIT 라벨미 프로젝트는 또한 MATLAB 도구에 의존하여 브라우저 기반 주석에 접근했습니다.

2015년 출시 이후 FOSS Python/QT 프레임워크는 레이블Img 전용 로컬 설치를 통해 크라우드 소싱 주석 작업에서 인기를 얻었습니다. 그러나 BRIMA 연구원은 LabelImg가 PascalVOC 및 YOLO 표준을 중심으로 하고 MS COCO JSON 형식을 지원하지 않으며 간단한 직사각형 캡처 영역(후속 분할이 필요함)을 선호하는 다각형 개요 도구를 피한다는 사실을 관찰했습니다.