Визначення зловживання мобільним телефоном водіїв з поляризуючими фільтрами та розпізнаванням об’єктів

Дослідники у Великій Британії запропонували систему для автоматичного виявлення незаконного використання мобільних телефонів водіями, використовуючи класичні фото-оптичні фільтри та інфрачервоне зображення. В залежності від якості обладнання, система продемонструвала точність до 95,81% у реальних умовах.

Одна з моделей дослідників у дії. Спочатку ідентифікується та ізолюється область вітрового скла як зона пошуку зображень мобільного телефону. Система розроблена для ігнорування встановлених мобільних телефонів та пошуку пристроїв, які активно тримає водій. Джерело: https://www.youtube.com/watch?v=PErIUr3Cxvg

Дослідження названо Ідентифікація порушень використання телефону водія через розпізнавання об’єктів з відстеженням, і походять зі Школи інформатики Університету Ньюкаслу.

Передача відбитків вітрових скл

Раніші підходи до виявлення використання мобільних пристроїв водіями були ускладнені високою відбитністю вітрових скл під час денних годин, що посилюється, коли відбитки від великих хмар ще більше заслоняють інтер’єр транспортного засобу. Такі випадки не можуть бути реально вирішені за допомогою інфрачервоних джерел світла, оскільки кількість інфрачервоного освітлення, необхідного для проникнення природного денного світла, була б ресурсоємною.

Отже дослідники з Ньюкаслу пропонують дуже старий трюк (що датується 1812 роком) для усунення відбитків від скляної поверхні – дешевий фізичний поляризуючий фільтр, який можна прикріпити до дорожніх камер спостереження, відкалібрований один раз, і потім дозволити rõчно побачити інтер’єр транспортного засобу.

Вгорі, незафільтований вигляд вітрового скла. Внизу, той же вигляд з прикріпленим до камери фізичним поляризуючим фільтром. Джерело: https://arxiv.org/pdf/2109.02119.pdf

З популярним переходом від окремих камер до мобільних сенсорів присутність поляризуючого фільтра в популярній культурі значно зменшилася до його включення у якісні окуляри, де носій може спостерігати його властивості, нахиляючи свій погляд або змінюючи свій погляд на відбитому об’єкті.

Сонячне світло розсіюється молекулами кисню та азоту, причому синє світло розсіюється більшою мірою, ніж інші довжини хвиль, що робить синій колір природним кольором чистого неба вдень. Синє світло поляризовано, і лінійний або круговий поляризований об’єктив може ефективно усунути це поляризоване світло, видаливши відбитки в процесі.

Стаття визнає, що затоновані вітрові скла можуть перешкоджати або навіть зруйнувати цей метод бачення всередині автомобіля. Однак, оскільки це обмежено законом Великої Британії, з правилами, що варіюються за штатами у США, стаття не розглядає це як основну перешкоду.

YOLO

Система, яку пропонує стаття, призначена для інтеграції у цивільну інфраструктуру, таку як урядові дорожні камери спостереження. Очікуючи можливих перешкод щодо вартості, дослідники протестували різні конфігурації систем розпізнавання об’єктів на різних рівнях якості обладнання та пропонують мінімальну вартість сценарію, у якому дешеві поляризуючі фільтри можуть бути додані до існуючих камер, з усіма іншими аспектами системи віддаленими.

Було протестовано чотири кадри розпізнавання об’єктів: You-Only-Look-Once (YOLO) версії 3 і 4; SSD базова мережа; Faster R-CNN; і CenterNet. У тестах найточніші результати були отримані з YOLO V3, використовуючи двоступеневий робочий процес, який спочатку локалізує область вітрового скла, а потім шукає мобільний пристрій у цьому просторі.

Однак необхідність проходження відео через дві мережі призводить до менш ніж оптимальної частоти кадрів 13,15 кадрів у секунду, порівняно з ближче до 30 кадрів у секунду на простішій системі. Якість результатів залежить від обладнання вводу, і дослідники виявили, що коли вхід був розділений між низькоякісними камерами та вищою якістю обладнання, точність близько 96% була можливою на кращому обладнанні, і 74,35% на дешевших камерах.

Обмеження визнаних порушень

Крім того, щоб зробити систему економічно життєздатною, дослідники стурбовані розробкою повністю автоматизованої системи з мінімумом необхідного людського нагляду, і система була задумана для автоматичної видачі штрафів. Однак, оскільки закони щодо використання мобільних телефонів під час водіння стають більш суворими у світі, з покараннями, які можуть перевищувати прості штрафи або вирахування балів ліцензії (наприклад, у Великій Британії), здається ймовірним, що випадкова людська верифікація залишається фактором у розгортанні такої системи.

Незважаючи на використання оптичного потоку та інших методів для урахування всього відеоконтенту, алгоритми розпізнавання об’єктів, такі як YOLO, розглядають кожен кадр як “повну історію”, а наступний кадр як наступний проект. Тому система цього типу повинна бути запобіжена проти видачі (наприклад) 128 окремих штрафів за 128 кадрів відео, що фіксує порушення.

Для уникнення цього система включає алгоритм відстежування об’єктів Deep SORT, який додає унікальний “ідентифікатор інциденту” до кожного визнання порушення, і забезпечує, що ідентифікатор не дублікується через кадри в одному захопленні послідовності.

Обробка нічного спостереження

Для нічних умов дослідники використовують інфрачервоне зображення, як у попередніх дослідницьких проектах, що вивчали ту ж саму проблему. Вони протестували інфрачервоні довжини хвиль 850 і 730 нанометрів і виявили, що найкращі деталі були захоплені з 730 нм.

Стаття стверджує, що подальше дослідження необхідне для визначення того, до якої міри інфрачервоне зображення може бути використано під час денних умов.

Дані

Для більш економічної одноступеневої версії системи дослідники використовували 2 235 зображень номерних знаків з Google Open Images Dataset, і 2150 запасних та саморобних зображень мобільних телефонів. Оскільки було необхідно включити зображення телефонів, які тримали водії, 1 700 зображень телефонів були зроблені спеціально для проекту.

Двоступенева система вимагала анотації 487 вітрових скл, використаних для навчання першого кроку процесу, окрім даних, використаних у одноступеневому процесі.

Оскільки не було доступу до офіційної дорожньої інфраструктури спостереження, усі зображення були зроблені волонтерами для наближення подібних умов.

Компроміси

Фінальні результати пропонують ряд стандартів точності, які потрібно обміняти на вартість впровадження, з вищою якістю обладнання та обробки результатів, що пропонують найбільшу точність, і, ймовірно, “прийнятну” точність, яку можна досягти за допомогою дешевого дообладнання існуючої міської системи спостереження.

Більш дешева, «одноступенева» система досягає точності близько 75%, з найнижчими витратами на впровадження (тобто встановлення дешевого поляризуючого фільтра), тоді як більш складна двоступенева система (яка ізолює область вітрового скла перед пошуком мобільного пристрою, який тримає водій) досягає вищої точності, але може бути придатною тільки для нової інфраструктури, залежно від доступного бюджету. У обидвох випадках якість обладнання вводу є додатковою змінною.

Як зазначено вище, сприйняття дослідниками життєздатності проекту, здається, ґрунтується на припущенні, що система повинна працювати повністю автономно – сумнівне вимога.

Подивіться офіційне відео проекту нижче для отримання більшої інформації про впровадження та підходи, які були використані.