ブラウザベースの画像アノテーションツール for コンピュータビジョンデータセット

フィンランドの研究者は、コンピュータビジョンデータセットの画像アノテーションプロセスの容易さと速度を向上させることを目的としたブラウザベースの画像ラベル付けツールを開発しました。このツールは、最も人気のあるブラウザエンジン用のOS非依存の拡張機能としてインストールされ、ユーザーが「自由にブラウジングしながらアノテーションを行う」ことができます。つまり、専用のセットアップやクライアントサイドコードの実行などの特別な状況を必要とせずに、アノテーションを行うことができます。

BRIMA（低オーバーヘッドブラウザのみの画像アノテーションツール）と呼ばれるこのシステムは、ユヴァスキュラ大学で開発されました。BRIMAは、ローカルまたはリモートのディレクトリにデータセットをスクラップしてコンパイルする必要性を排除し、さまざまなパブリックプラットフォームで利用可能なデータパラメータから有用なデータを取得するように構成できます。

BRIMAのアクション。 ソース：https://arxiv.org/pdf/2107.06351.pdf

このように、BRIMA（ICIP 2021で発表され、コードも公開される予定）は、自動ウェブスクレイピングシステムがIP範囲やその他の方法でブロックされ、データを収集できない状況を回避します。さらに、CAPTCHAチャレンジやデータ収集アルゴリズムをブロックする自動システムをトリガーする可能性も低いです。

適応型データ収集機能

BRIMAは、Windows、OS X、またはLinuxでFirefoxアドオンまたはChrome拡張機能として実装され、特定のプラットフォームが公開するデータポイントに基づいて重要なデータを取得するように構成できます。たとえば、Google Street Viewの画像をアノテーションする場合、システムはレンズの向きと視点、およびユーザーが注目しているオブジェクトの正確な地理座標を考慮に入れます。

BRIMAは、2020年9月に開発者によってテストされ、CCTVオブジェクト（パブリックスペースに設置されたビデオ監視カメラまたはパブリックスペースから見えるカメラ）のオブジェクト検出データセットを生成するためのクラウドソーシングイニシアチブに協力しました。

システムは、ブラウザ拡張機能としての軽量JavaScriptクライアントサイドインストールと、注釈データを受け取ってコンパイルするサーバーサイドで構成されています。サーバーサイドのリファレンス実装はPythonとPHPでFlaskとSwagger/OpenAPIを使用して記述されていますが、研究者は、中央の処理アーキテクチャが簡単に他の言語や構成に移植できることを強調しています。

ブラウザ拡張機能とサーバーはRESTful APIリクエストとHTTP/XHRを介して通信し、クライアントサイドのデータはMS COCOと互換性のあるJSON形式で送信されます。これにより、データは、FacebookのDetectron2やCenterMask2などのTensorFlowのバックエンドを含む、人気のあるオブジェクト検出フレームワークとすぐに使用できます。

プロジェクト固有のツール

BRIMAは汎用的な性質を持っていますが、ドロップダウンメニューなどの特定のドメインに関連するコンテキスト入力を含む、高度に特定のデータ収集構成に構成できます。以下の画像では、カメラ情報に関するドロップダウンメニューがBRIMAに書き込まれており、注釈者が詳細でプロジェクトに関連する情報を提供できるようになっています。

この追加ツールはローカルで構成できます。拡張機能には、簡単なインストールとカスタマイズ可能なキーボードショートカット、およびカラー化されたUI要素も含まれています。

この研究は、近年、Webから取得したデータまたはパブリックデータの画像アノテーションの機能を向上させるための多くの試みに基づいています。DARPAが支援するPhotoStuffツールは、専用のWebポータルを介してオンラインアノテーションを提供し、セマンティックWebまたはスタンドアロンアプリケーションとして実行できます。2004年、カリフォルニア大学バークレー校は、ネットワークカバレッジとビューポートの制限のため、メタデータを大量に使用した「カメラフォンでの写真アノテーション」を提案しました。2005年、MITのLabelMeプロジェクトもブラウザベースのアノテーションに取り組み、MATLABツールに依存していました。

2015年にリリースされたFOSS Python/QTフレームワークLabelImgは、クラウドソーシングのアノテーション努力で人気を博しています。ただし、BRIMAの研究者は、LabelImgがPascalVOCとYOLOの標準に重点を置き、MS COCO JSON形式をサポートしておらず、多角形のアウトラインツールを使用せずに、単純な長方形のキャプチャ領域を使用していることを観察しています（これは、後のセグメンテーションを必要とします）。