Определение злоупотребления мобильными телефонами водителями с помощью поляризующих фильтров и распознавания объектов

Исследователи в Великобритании предложили систему для автоматического обнаружения незаконного использования мобильных телефонов водителями, используя классические фото-оптические фильтры и инфракрасную съемку. В зависимости от качества оборудования съемки, система продемонстрировала точность до 95,81% в реальных испытаниях.

Одна из моделей исследователей в действии. Площадь ветрового стекла сначала определяется и изолируется как площадь для поиска изображений мобильного телефона с помощью ИИ. Система предназначена для игнорирования установленных мобильных телефонов и поиска устройств, которые активно держат водители. Источник: https://www.youtube.com/watch?v=PErIUr3Cxvg

Исследование называется Идентификация нарушений использования телефона водителем через распознавание объектов с отслеживанием и проводится в Школе информатики Университета Ньюкасл.

Преодоление отражательной способности ветровых стекол

Предыдущие подходы к обнаружению использования мобильных устройств водителями были осложнены высокой отражательной способностью ветровых стекол в часы дня, что усугублялось отражениями от больших облаков, которые еще больше осложняли обзор интерьера транспортного средства. Такие случаи не могут быть реалистично устранены с помощью инфракрасных источников света, поскольку количество необходимого ИК-освещения для проникновения через естественный свет будет ресурсоемким.

Поэтому исследователи из Ньюкасл предложили самый старый трюк в книге (относящийся к 1812 году) для устранения отражений от стеклянной поверхности – дешевый физический поляризующий фильтр, который можно прикрепить к дорожным камерам наблюдения, откалибровать один раз и затем обеспечить четкий обзор интерьера транспортных средств.

Вверху, нефильтрованное изображение ветрового стекла. Внизу, то же изображение с физическим поляризующим фильтром, прикрепленным к камере. Источник: https://arxiv.org/pdf/2109.02119.pdf

С переходом от специальных камер к мобильным датчикам присутствие поляризующего фильтра в популярной культуре в значительной степени уменьшилось до его включения в качественные солнцезащитные очки, где носитель может наблюдать его свойства, отражающие свет, наклоняя свою точку зрения или меняя свою точку зрения на отражающий объект.

Солнечный свет рассеивается молекулами кислорода и азота, и синий свет более сильно рассеивается, чем другие длины волн, что делает синий цвет родным цветом ясного неба в дневное время. Синий свет поляризован, и линейный или круговой поляризующий объектив может эффективно устранить этот поляризованный свет, удаляя отражения в процессе.

В статье признается, что затонированные ветровые стекла могут препятствовать или даже сорвать этот метод обзора внутри автомобиля. Однако, поскольку это ограничено законом Великобритании, с правилами, варьирующимися по штатам в США, статья не считает это основным препятствием.

YOLO

Система, предложенная в статье, предназначена для интеграции в гражданскую инфраструктуру, такую как дорожные камеры наблюдения, установленные правительством. Осознав возможные препятствия по стоимости, исследователи протестировали различные конфигурации системы распознавания объектов на различных уровнях качества оборудования съемки и предложили минимальную по стоимости сцену, в которой дешевые поляризующие фильтры могут быть добавлены к существующим камерам, а все остальные аспекты системы могут быть удаленными.

Были протестированы четыре кадра распознавания объектов: You-Only-Look-Once (YOLO) версии 3 и 4; SSD базовая сеть; Faster R-CNN; и CenterNet. В испытаниях наиболее точные результаты были получены с YOLO V3, используя двухэтапный рабочий процесс, который сначала локализует площадь ветрового стекла, а затем ищет мобильное устройство в этом пространстве.

Однако необходимость пропустить видео через две сети приводит к менее оптимальной частоте кадров 13,15 кадров в секунду, по сравнению с более простой системой, которая имеет частоту кадров около 30 кадров в секунду. Качество результатов зависит от качества оборудования съемки, и исследователи обнаружили, что когда входные данные были разделены между низкокачественными камерами и более качественным оборудованием, точность системы составила около 96% на лучшем оборудовании и 74,35% на более дешевых камерах.

Ограничение признанных правонарушений

Помимо того, чтобы сделать систему экономически жизнеспособной, исследователи стремятся разработать полностью автоматизированную систему с минимальным человеческим надзором, и система была разработана для автоматической выдачи штрафов. Однако, поскольку законы о использовании мобильных телефонов во время вождения становятся более строгими во всем мире, с наказаниями, которые могут превышать простые штрафы или вычеты баллов в водительских правах (например, в Великобритании), вероятно, что случайная человеческая проверка останется фактором в развертывании такой системы.

Несмотря на использование оптического потока и других методов для учета всего видеоконтента, алгоритмы распознавания объектов, такие как YOLO, рассматривают каждый кадр как «полную историю», а следующий кадр как последующий проект. Следовательно, система такого типа должна быть предотвращена от выдачи (например) 128 отдельных штрафов, покрывающих 128 кадров видео, нарушающего правила.

Чтобы избежать этого, система включает в себя алгоритм отслеживания объектов Deep SORT, который добавляет уникальный «ID инцидента» к каждому распознаванию правонарушения и гарантирует, что ID не дублируется в рамках одного кадра в одной последовательности захвата.

Обработка ночной съемки

Для ночных условий исследователи используют инфракрасную съемку, как и в предыдущих исследовательских проектах, изучающих одну и ту же задачу. Они протестировали ИК-излучение с длиной волны 850 и 730 нанометров и обнаружили, что лучшие детали были захвачены с 730 нм.

Статья утверждает, что дальнейшее исследование необходимо для определения степени, в которой инфракрасная съемка может быть использована в дневных условиях.

Данные

Для более экономичной одноступенчатой версии системы исследователи использовали 2235 изображений номерных знаков из набора данных Google Open Images и 2150 изображений мобильных телефонов из фондов и созданных специально для проекта. Поскольку было необходимо включить изображения телефонов, которые держат водители, 1700 изображений телефонов были сделаны специально для проекта.

Двухступенчатая система требовала аннотации 487 ветровых стекол, использованных для обучения первого шага процесса, в дополнение к данным, использованным в одноступенчатом процессе.

Поскольку не было доступа к официальной дорожной инфраструктуре наблюдения, все изображения были сделаны волонтерами для приближения к аналогичным условиям.

Торговые компромиссы

Окончательные результаты предлагают ряд стандартов точности, которые необходимо обменять на стоимость реализации, с лучшим оборудованием съемки и обработки, предлагающим наибольшую точность, и, возможно, «допустимую» точность, достижимую путем недорогой модернизации существующего городского оборудования наблюдения.

Более дешевая, «одноступенчатая» система достигает точности около 75%, с наименьшими затратами на реализацию (т. е. установка дешевого поляризующего фильтра), в то время как более сложная двухступенчатая система (которая изолирует площадь ветрового стекла, прежде чем искать мобильное устройство, которое держит водитель) достигает более высоких показателей точности, но может быть подходящей только для новой инфраструктуры, в зависимости от доступного бюджета. В обоих случаях качество оборудования съемки является дополнительной переменной.

Как упоминалось выше, восприятие исследователей о жизнеспособности проекта, кажется, обусловлено предположением, что система должна работать полностью автономно – сомнительным требованием.

Посмотрите официальное видео проекта ниже для получения более подробной информации об реализации и подходах, использованных в проекте.