ドライバーの携帯電話の乱用を極性フィルタと物体認識で特定する

イギリスの研究者は、クラシックな光学フィルタと赤外線撮影を使用して、運転中の違法な携帯電話使用を自動検出するための道路側システムを提案しました。キャプチャ装置の品質に応じて、システムは現実世界の試験で最大95.81％の精度率を示しました。

研究者のモデルの一つが動作しています。ウィンドシールドのエリアが最初に識別され、AI支援の画像検索のためのキャッチメントエリアとして分離されます。システムは、取り付けられた携帯電話を無視し、運転手によってアクティブに保持されているデバイスを検索するように設計されています。 ソース: https://www.youtube.com/watch?v=PErIUr3Cxvg

この研究は、ドライバーの携帯電話使用違反の識別をための最新の物体検出と追跡と題され、ニューカッスル大学のコンピューティング学部から来ています。

ウィンドシールドの反射性の克服

運転手の携帯電話使用検出に対する以前のアプローチは、日中のウィンドシールドの高反射性によって妨げられてきました。これは、大きな雲のグループからの反射によって車両の内部がさらに不明瞭になることで悪化します。こうしたケースは、自然光を貫通するために必要なIR照明の量がリソースを大量に消費するため、実用的にはIR光源で対処することはできません。

したがって、ニューカッスル大学の研究者は、1812年から存在する最も古いトリック（glass表面からの反射を除去するために使用される）を提案しています。つまり、道路側の監視カメラに取り付けられる、安価な物理的な極性フィルタです。これは、一度調整してから、車両の内部を見えるようにすることができます。

上、フィルタなしの車のウィンドシールド。下、カメラに物理的な極性フィルタが取り付けられた同じビュー。 ソース: https://arxiv.org/pdf/2109.02119.pdf

カメラからモバイルベースのセンサーへの移行により、極性フィルタの存在は、主に合理的な品質のサングラスでの使用に限定されました。そこでは、着用者は、視点を傾けたり、視点を反射物に変更することで、反射を殺す特性を観察できます。

日光は、酸素と窒素の分子によって散乱され、青い光は他の波長よりも広範囲に散乱されるため、青が昼間の空のネイティブカラーになります。青い光は偏光されており、線形または円形の偏光レンズは、この偏光光を効果的に除去して、反射を除去することができます。

論文では、スモークウィンドシールドがこの方法で車の中を見えるようにするのを妨げる可能性があることを認めています。ただし、これはイギリスの法律によって制限されており、米国の州によって規制が異なるため、論文ではこれを主な障害とは見なしていません。

YOLO

論文で提案されているシステムは、道路側の監視カメラなどの市民インフラストラクチャに統合することを目的としています。コストに関する潜在的な障害を認識して、研究者はさまざまなオブジェクト認識システム構成をさまざまな品質レベルのキャプチャ装置でテストしました。安価な極性フィルタを既存のカメラに追加する最低限のコストシナリオを提供し、システムの他のすべての側面をリモート化しました。

4つのオブジェクト認識フレームワークがテストされました: You-Only-Look-Once (YOLO) バージョン3と4; SSD ベースネットワーク; Faster R-CNN; および CenterNet。テストでは、YOLO V3が最も正確な結果をもたらし、2ステップのワークフローを使用して、まずウィンドシールドのエリアをローカライズし、次にそのスペース内で携帯電話デバイスを検索しました。

ただし、2つのネットワークを介してビデオを実行する必要性は、13.15fpsという非最適なフレームレートをもたらします。これは、よりシンプルなシステムでは30fpsに近くなります。結果の品質は入力装置によって異なり、研究者は入力が低品質カメラと高品質の装置の間で分割されたときに、約96％の精度率が可能であることを発見しました。安価なカメラでは74.35％でした。

認識された違反の制限

システムを経済的に実行可能にすることに加えて、研究者は、必要な人間の監視を最小限に抑えた完全に自動化されたシステムを開発することに懸念しています。システムは自動的に罰金を発行するように設計されています。ただし、運転中に携帯電話を使用することに関する法律は世界中でより厳しくなっており、罰金や免許点の削減を超える罰則（たとえば、イギリス）が科せられる可能性があるため、このようなシステムの展開では、人間による検証が残る可能性があります。

ビデオコンテンツの全体性を考慮するために光流と他の方法を使用するにもかかわらず、YOLOのようなオブジェクト認識アルゴリズムは、各フレームを「完全な物語」と見なし、次のフレームを別のプロジェクトとして扱います。したがって、このようなシステムは、たとえば、128フレームの違反を捉えるビデオに対して128個の別々の罰金を発行するのを防ぐ必要があります。

これを避けるために、システムにはオブジェクト追跡アルゴリズム Deep SORT が含まれており、各違反認識に一意の「インシデントID」を追加し、キャプチャシーケンス内のフレーム間でIDが重複しないことを保証します。

夜間の監視の取り扱い

夜間の条件の場合、研究者は以前の研究プロジェクトで同じ課題を調査したときと同じように、赤外線撮影に戻ります。彼らは850ナノメートルと730ナノメートルのIR波長をテストし、730nmで最も詳細な画像がキャプチャされることがわかりました。

論文では、さらに調査が必要であると主張しています。赤外線撮影が日中の条件で使用できる範囲を決定するために。

データ

より経済的なシングルステップバージョンのシステムの場合、研究者は2,235枚のナンバープレート画像をGoogle Open Images Datasetから使用し、2,150枚のストックおよびカスタムメイドの携帯電話画像を使用しました。運転手によって保持されている携帯電話の画像を含める必要があったため、携帯電話の画像の1,700枚はプロジェクトのために特に撮影されました。

2ステップシステムでは、プロセスの最初のステップをトレーニングするために487枚のウィンドシールドの注釈が必要でした。これは、シングルステッププロセスで使用されたデータに加えて使用されました。

公式の道路監視インフラストラクチャへのアクセスがなかったため、すべての画像は、同等の条件を近似するためにボランティアによって撮影されました。

トレードオフ

最終的な結果は、実装のコストと精度の基準の範囲を提供します。より優れたキャプチャ装置と処理結果は、最も高い精度を提供し、たとえば「受け入れられる」精度は、都市の監視装置の安価な改造によって得られる可能性があります。

より安価な「シングルステップ」パイプラインは、最低限の実装コスト（たとえば、安価な極性フィルタの取り付け）で約75％の精度を達成します。一方、より複雑な2ステップシステム（運転手によって保持されている携帯電話デバイスを検索する前に、ウィンドシールドのエリアを分離する）は、より高い精度率を達成しますが、利用可能な予算によっては、新しいインフラストラクチャにのみ適した場合があります。両方の場合、キャプチャ装置の品質は別の変数です。

上記のように、研究者のプロジェクトの実行可能性に対する認識は、システムが完全に自律的に動作する必要があるという仮定によって形成されているようです。これは、疑問の余地のある要件です。

プロジェクトの公式ビデオを以下に参照して、実装と使用されたアプローチについての詳細を確認してください。