Визначення зловживання мобільним телефоном водіїв з використанням поляризуючих фільтрів та розпізнавання об’єктів

Дослідники у Великій Британії запропонували систему для автоматичного виявлення незаконного використання мобільних телефонів серед водіїв, використовуючи класичні фотооптичні фільтри та інфрачервоне зображення. В залежності від якості обладнання для зйомки, система продемонструвала точність до 95,81% у реальних випробуваннях.

Одна з моделей дослідників у дії. Спочатку ідентифікується та ізолюється область вітрового скла як зона для пошуку зображень мобільного телефону за допомогою штучного інтелекту. Система розроблена для ігнорування встановлених мобільних телефонів та пошуку пристроїв, які активні водії тримають у руках. Джерело: https://www.youtube.com/watch?v=PErIUr3Cxvg

Дослідження дослідження називається Ідентифікація порушень використання телефонів водіями через розпізнавання об’єктів з відстеженням та проводиться школою комп’ютерних наук університету Ньюкаслу.

Передача відблисків вітрового скла

Раніші підходи до виявлення використання мобільних пристроїв серед водіїв були ускладнені високою відблисковістю вітрового скла під час денних годин, що посилюється, коли відблиски від великих хмар ще більше заслоняють інтер’єр транспортного засобу. Такі випадки не можуть бути реально вирішені за допомогою інфрачервоних джерел світла, оскільки кількість інфрачервоного освітлення, необхідного для проникнення природного денного світла, була б ресурсоємною.

Отже, дослідники університету Ньюкаслу пропонують дуже старий трюк (від 1812 року) для усунення відблисків від скляної поверхні – дешевий фізичний поляризуючий фільтр, який можна прикріпити до дорожніх камер спостереження, відкалібрований один раз, і потім дозволити чіткий погляд у салон транспортного засобу.

Вгорі, незафільтований вигляд вітрового скла. Внизу, той же вигляд з фізичним поляризуючим фільтром, прикріпленим до камери. Джерело: https://arxiv.org/pdf/2109.02119.pdf

З популярним переходом від окремих камер до мобільних сенсорів, присутність поляризуючого фільтра в популярній культурі була значно зменшена до його включення у якісні окуляри, де носій може спостерігати його властивості відблисків, нахилляючи свій погляд або змінюючи свій погляд на відблисковому об’єкті.

Сонячне світло розсіюється киснем і азотом, з блакитним світлом, яке розсіюється більш інтенсивно, ніж інші довжини хвиль, роблячи блакитний колір ясного неба у денний час. Блакитне світло поляризоване, і лінійний або круговий поляризований об’єктив може ефективно усунути це поляризоване світло, видаляючи відблиски в процесі.

У роботі зазначається, що тоновані вітрові скла можуть перешкоджати або навіть зруйнувати цей метод перегляду салону автомобіля. Однак, оскільки це обмежено законом Великої Британії, з правилами, що варіюються від штату до штату у США, робота не вважає це основною перешкодою.

YOLO

Система, яку пропонує робота, призначена для інтеграції у цивільну інфраструктуру, таку як урядові дорожні камери спостереження. Виконуючи можливі перешкоди щодо вартості, дослідники протестували різні конфігурації систем розпізнавання об’єктів на різних рівнях якості обладнання для зйомки, і пропонують мінімальну вартість сценарію, де дешеві поляризуючі фільтри можуть бути додані до існуючих камер, з усіма іншими аспектами системи віддаленими.

Чотири кадри розпізнавання об’єктів були протестовані: You-Only-Look-Once (YOLO) версії 3 і 4; SSD базова мережа; Faster R-CNN; і CenterNet. У тестах найточніші результати були отримані з YOLO V3, використовуючи двоступінчатий робочий процес, який спочатку локалізує область вітрового скла, а потім шукає мобільний пристрій у цьому просторі.

Однак, необхідність проходження відео через дві мережі призводить до менш ніж оптимальної частоти кадрів 13,15 кадрів у секунду, порівняно з ближче 30 кадрами у секунду на простішій системі. Якість результатів залежить від якості обладнання для зйомки, і дослідники виявили, що коли вхідний сигнал був розділений між низькоякісними камерами та обладнанням вищої якості, точність близько 96% була можливою на кращому обладнанні, і 74,35% на дешевших камерах.

Обмеження визнаних порушень

Крім того, щоб зробити систему економічно життєздатною, дослідники стурбовані розробкою повністю автоматизованої системи з мінімумом необхідного людського нагляду, і система була задумана для автоматичної видачі штрафів. Однак, оскільки закони щодо використання мобільних телефонів під час водіння стають все суворішими у світі, з покараннями, які можуть перевищувати прості штрафи або видалення балів ліцензії (наприклад, у Великій Британії), здається ймовірним, що випадкова людська верифікація залишилася б фактором у розгортанні такої системи.

Незважаючи на використання оптичного потоку та інших методів для урахування всього відеоконтенту, алгоритми розпізнавання об’єктів, такі як YOLO, розглядають кожен кадр як “повну історію”, а наступний кадр як наступний проєкт. Тому система цього типу повинна бути запобіжена проти видачі (наприклад) 128 окремих штрафів за 128 кадрів відео, що фіксує порушення.

Щоб уникнути цього, система включає алгоритм відстежування об’єктів Deep SORT, який додає унікальний “ідентифікатор інциденту” до кожного визнання порушення, і гарантує, що ідентифікатор не дублікується через кадри у одному кадрі послідовності.

Обробка нічної відеозйомки

Для нічних умов дослідники звертаються до інфрачервоного зображення, як і у попередніх дослідженнях, що вивчали ту ж саму проблему. Вони протестували інфрачервоні довжини хвиль 850 і 730 нанометрів і виявили, що найкращі деталі були захоплені на 730 нм.

У роботі стверджується, що подальше дослідження необхідне для визначення того, якою мірою інфрачервоне зображення може бути використано під час денних умов.

Дані

Для більш економічної одноступінчатої версії системи дослідники використали 2 235 зображень номерних знаків з Google Open Images Dataset та 2150 зображень мобільних телефонів зі запасу та спеціально виготовлених для проекту.

Двоступінчатої системи вимагало анотації 487 вітрових скла, використаних для навчання першого кроку процесу, окрім даних, використаних у одноступінчатому процесі.

Оскільки не було доступу до офіційної дорожньої інфраструктури спостереження, усі зображення були зроблені волонтерами для приблизного подібних умов.

Торговельні угоди

Фінальні результати пропонують ряд стандартів точності, які потрібно торгувати проти вартості реалізації, з вищою якістю обладнання для зйомки та обробки результатів, що пропонують найбільшу точність, і, ймовірно, “прийнятну” точність, яку можна досягти за допомогою дешевого дообладнання існуючої міської системи спостереження.

Дешева, “одноступінчаста” система досягає чогось близько до 75% точності, з мінімальними витратами на реалізацію (тобто встановлення дешевого поляризуючого фільтра), тоді як більш складна двоступінчаста система (яка ізолює область вітрового скла, а потім шукає мобільний пристрій, який тримає водій) досягає вищої точності, але може бути придатною лише для нової інфраструктури, залежно від наявного бюджету. У обидних випадках якість обладнання для зйомки є додатковою змінною.

Як зазначено вище, сприйняття дослідниками життєздатності проекту, здається, інформується припущенням, що система повинна виконуватися повністю автономно – це сумнівне вимога.

Подивіться офіційне відео проекту нижче для отримання більшої інформації про реалізацію та підходи, використані.