Определение злоупотребления мобильными телефонами водителей с помощью поляризующих фильтров и распознавания объектов

Исследователи в Великобритании предложили систему для автоматического обнаружения незаконного использования мобильных телефонов среди водителей, используя классические фото-оптические фильтры и инфракрасную съемку. В зависимости от качества оборудования съемки, система продемонстрировала точность до 95,81% в реальных испытаниях.

Одна из моделей исследователей в действии. Область ветрового стекла сначала определяется и изолируется как область поиска изображений мобильного телефона с помощью ИИ. Система предназначена для игнорирования установленных мобильных телефонов и поиска устройств, которые активно держит водитель. Source: https://www.youtube.com/watch?v=PErIUr3Cxvg

Исследование называется Идентификация нарушений использования телефона водителем с помощью передовых методов обнаружения объектов и отслеживания, и было проведено в Школе информатики Университета Ньюкасл.

Преодоление отражательной способности ветровых стекол

Предыдущие подходы к обнаружению использования мобильных устройств среди водителей были осложнены высокой отражательной способностью ветровых стекол в течение светового дня, что усугублялось отражениями от групп крупных облаков, которые еще больше осложняли обзор интерьера транспортного средства. Такие случаи не могут быть реалистично решены с помощью инфракрасных источников света, поскольку количество ИК-освещения, необходимое для проникновения через естественный свет, было бы ресурсоемким.

Поэтому исследователи из Ньюкаслского университета предложили самый старый трюк в книге (относящийся к 1812 году) для устранения отражений от стеклянной поверхности – дешевый физический поляризующий фильтр, который можно прикрепить к дорожным камерам наблюдения, откалибровать один раз и затем обеспечить четкий обзор интерьера транспортных средств.

Выше, нефильтрованное изображение ветрового стекла. Ниже, то же изображение с физическим поляризующим фильтром, прикрепленным к камере. Source: https://arxiv.org/pdf/2109.02119.pdf

С популярным переходом от专альных камер к мобильным датчикам, присутствие поляризующего фильтра в популярной культуре в значительной степени было уменьшено до его включения в разумные по качеству солнцезащитные очки, где носитель может наблюдать его свойства, уничтожающие отражения, наклоняя свою точку зрения или меняя свою точку зрения на отражающий объект.

Солнечный свет рассеивается кислородом и азотом, с синим светом, который более обширно рассеивается, чем другие длины волн, что делает синий цвет родным цветом ясного неба в дневное время. Синий свет поляризован, и линейный или круговой поляризующий объектив может эффективно устранить этот поляризованный свет, удаляя отражения в процессе.

Статья признает, что тонированные ветровые стекла могут препятствовать или даже сорвать этот метод обзора транспортного средства. Однако, поскольку это ограничено законом Великобритании, с правилами, варьирующимися от штата к штату в США, статья не считает это основным препятствием.

YOLO

Система, предложенная в статье, предназначена для интеграции в гражданскую инфраструктуру, такую как дорожные камеры наблюдения, установленные правительством. Осознав возможные препятствия по стоимости, исследователи протестировали различные конфигурации систем распознавания объектов на различных уровнях качества оборудования съемки и предложили минимально-стоимостный сценарий, в котором дешевые поляризующие фильтры могут быть добавлены к существующим камерам, а все остальные аспекты системы могут быть удаленными.

Четыре фреймворка распознавания объектов были протестированы: You-Only-Look-Once (YOLO) версии 3 и 4; SSD базовая сеть; Faster R-CNN; и CenterNet. В испытаниях наиболее точные результаты были получены с YOLO V3, используя двухэтапный рабочий процесс, который сначала локализует область ветрового стекла, а затем ищет мобильное устройство в этом пространстве.

Однако необходимость запуска видео через две сети приводит к менее чем оптимальной частоте кадров 13,15 кадров в секунду, по сравнению с почти 30 кадрами в секунду на более простой системе. Качество результатов зависит от качества входного оборудования, и исследователи обнаружили, что когда вход был разделен между низкокачественными камерами и более качественным оборудованием, точность gầnко 96% была возможна на лучшем оборудовании, и 74,35% на более дешевых камерах.

Ограничение признанных правонарушений

Помимо того, чтобы сделать систему экономически жизнеспособной, исследователи обеспокоены разработкой полностью автоматизированной системы с минимальным необходимым человеческим надзором, и система была задумана для автоматической выдачи штрафов. Однако, поскольку законы о использовании мобильных телефонов во время вождения становятся более суровыми по всему миру, с наказаниями, которые могут превышать простые штрафы или вычеты баллов в водительских правах (т.е. в Великобритании), кажется вероятным, что случайная человеческая верификация останется фактором в развертывании такой системы.

Несмотря на использование оптического потока и других методов для учета всего содержания видео, алгоритмы распознавания объектов, такие как YOLO, рассматривают каждый кадр как “полную историю”, а следующий кадр как последующий проект. Следовательно, система такого типа должна быть предотвращена от выдачи (например) 128 отдельных штрафов, покрывающих 128 кадров видео, запечатлевшего правонарушение.

Чтобы избежать этого, система включает в себя алгоритм отслеживания объектов Deep SORT, который добавляет уникальный “ID инцидента” к каждому распознаванию правонарушения и гарантирует, что ID не дублируется в кадрах внутри одной последовательности захвата.

Обработка ночной съемки

Для ночных условий исследователи используют инфракрасную съемку, как и в предыдущих исследовательских проектах, изучавших ту же задачу. Они протестировали ИК-излучение с длиной волны 850 и 730 нанометров и обнаружили, что лучшие детали были захвачены с 730 нм.

Статья утверждает, что дальнейшее расследование необходимо для определения степени, в которой инфракрасная съемка может быть использована в дневных условиях.

Данные

Для более экономичной одноступенчатой версии системы исследователи использовали 2235 изображений номерных знаков из набора данных Google Open Images и 2150 изображений мобильных телефонов из фондов и созданных специально для проекта. Поскольку было необходимо включить изображения телефонов, которые держат водители, 1700 изображений телефонов были сделаны специально для проекта.

Двухступенчатая система требовала аннотации 487 ветровых стекол, использованных для обучения первого шага процесса, в дополнение к данным, использованным в одноступенчатом процессе.

Поскольку не было доступа к официальной дорожной инфраструктуре наблюдения, все изображения были сделаны добровольцами для приближения подобных условий.

Торговые компромиссы

Окончательные результаты предлагают ряд стандартов точности, которые необходимо обменять на стоимость реализации, с лучшим оборудованием захвата и результатами обработки, предлагающими наибольшую точность, и, как можно считать, “допустимую” точность, достижимую за счет недорогой модернизации существующего городского оборудования наблюдения.

Более дешевая, ‘одноступенчатая’ трубопроводная линия достигает точности около 75%, с наименьшими затратами на реализацию (т.е. установка дешевого поляризующего фильтра), в то время как более сложная двухступенчатая система (которая изолирует область ветрового стекла, прежде чем искать мобильное устройство, которое держит водитель) достигает более высоких показателей точности, но может быть подходящей только для новой инфраструктуры, в зависимости от доступного бюджета. В обоих случаях качество оборудования захвата является дополнительной переменной.

Как упоминалось выше, восприятие исследователей о жизнеспособности проекта, кажется, информировано предположением, что система должна функционировать полностью автономно – сомнительным требованием.

Взгляните на официальное видео проекта ниже для получения более подробной информации об реализации и подходах, использованных.