Виявлення зловживань водіями мобільними телефонами за допомогою поляризаційних фільтрів і розпізнавання об’єктів

Дослідники з Великобританії запропонували придорожню систему для автоматизації виявлення незаконного використання мобільних телефонів серед водіїв, використовуючи класичні фотооптичні фільтри та інфрачервоне захоплення. Залежно від якості обладнання для захоплення, система продемонструвала рівень точності до 95.81% у реальних випробуваннях.

Одна з моделей дослідників у дії. Область лобового скла спочатку ідентифікується та виділяється як зона захоплення для пошуку зображень мобільного телефону за допомогою ШІ. Система розроблена таким чином, щоб ігнорувати встановлені мобільні телефони та шукати пристрої, які активно тримає водій. Джерело: https://www.youtube.com/watch?v=PErIUr3Cxvg

Команда дослідження має титул Виявлення порушень у використанні телефону водія за допомогою найсучаснішого виявлення об’єктів із відстеженням, і походить із Школи обчислювальної техніки Університету Ньюкасла.

Подолання відбивної здатності вітрового скла

Попередні підходи до виявлення використання мобільних пристроїв серед водіїв ускладнювали високу відбивну здатність вітрових стекол у світлий час доби, яка посилювалася, коли відбиття від груп великих хмар ще більше затемнювало салон автомобіля. Такі випадки реально неможливо вирішити за допомогою джерел інфрачервоного світла, оскільки кількість ІЧ-випромінювання, необхідна для проникнення природного денного світла, буде ресурсомісткою.

Тому дослідники Ньюкасла пропонують найстаріший трюк у книзі (датований 1812 роком), щоб усунути відблиски від видимої скляної поверхні – дешевий, фізичний поляризаційний фільтр які можна приєднати до придорожніх камер спостереження, відкалібрувати один раз, а потім забезпечити чіткий огляд салону автомобіля.

Угорі нефільтрований вид лобового скла автомобіля. Нижче те саме зображення з фізичним поляризаційним фільтром, прикріпленим до камери. Джерело: https://arxiv.org/pdf/2109.02119.pdf

З популярним переходом від спеціальних камер до сенсорів на мобільних пристроях присутність поляризаційного фільтра в популярній культурі здебільшого звелася до його включення в сонцезахисні окуляри розумної якості, де власник може спостерігати за його властивостями вбивати відблиски, нахиляючи свою точку зору або змінюючи свою точку зору. точки зору на відбиваючий об'єкт.

Сонячне світло розсіюється молекулами кисню та азоту, причому синє світло розсіюється ширше, ніж інші довжини хвилі, що робить блакитний кольором ясного неба вдень. Синє світло поляризоване, а лінійний або круговий Поляризовані лінзи можуть ефективно усунути це поляризоване світло, усуваючи відбиття в процесі.

Газета визнає, що задимлене лобове скло може перешкоджати або навіть перешкоджати такому методу огляду автомобіля. Однак, оскільки це є обмежена законодавством Великобританії, оскільки правила в США відрізняються залежно від штату, документ не вважає це основною перешкодою.

YOLO

Система, запропонована в документі, призначена для інтеграції в громадську інфраструктуру, наприклад, встановлені урядом придорожні камери спостереження. Усвідомлюючи можливі перешкоди через вартість, дослідники випробували різні конфігурації системи розпізнавання об’єктів на різних рівнях якості обладнання для захоплення та запропонували сценарій з мінімальними витратами, коли до існуючих камер можна було б додати дешеві поляризаційні фільтри з усіма іншими аспектами дистанційного керування системою.

Було протестовано чотири системи розпізнавання об’єктів: You-Only-Look-Once (YOLO) версії 3 і 4; SSD базова мережа; Швидший R-CNNІ CenterNet. У тестах найточніші результати були отримані з YOLO V3, використовуючи двоетапний робочий процес, який спочатку локалізує область лобового скла, а потім шукає мобільний пристрій у цьому просторі.

Однак необхідність запускати відео через дві мережі призводить до менш ніж оптимальної частоти кадрів у 13.15 кадрів на секунду порівняно з 30 кадрами на секунду в простішій системі. Якість результатів залежить від вхідного обладнання, і дослідники виявили, що коли вхідні дані розподіляються між недорогими камерами та високоякісним обладнанням, рівень точності досягає майже 96% для кращого комплекту та 74.35% для дешевшого комплекту. камери.

Обмеження визнаних порушень

Крім того, щоб зробити систему економічно життєздатною, дослідники стурбовані розробкою повністю автоматизованої системи з мінімальним необхідним наглядом з боку людини, і система була задумана для автоматичної доставки штрафів. Однак, оскільки закони щодо використання мобільного телефону під час керування автомобілем стають суворішими в усьому світі, і штрафи можуть перевищувати прості штрафи або вирахування балів за ліцензію (тобто у Великобританії), здається ймовірним, що випадкова перевірка людиною залишатиметься фактором у розгортанні така система.

Незважаючи на використання оптичного потоку та інших методів для врахування всього відеовмісту, алгоритми розпізнавання об’єктів, такі як YOLO, вважають кожен кадр «повною історією», а наступний кадр — наступним проектом. Таким чином, система такого характеру не повинна накладати (наприклад) 128 окремих штрафів, які охоплюють 128 кадрів відео зйомки порушення.

Щоб цього уникнути, в систему впроваджено алгоритм відстеження об’єктів Глибоке СОРТУВАННЯ, який додає унікальний «ідентифікатор інциденту» до кожного розпізнавання порушення та гарантує, що ідентифікатор не дублюється між кадрами в одній послідовності захоплення.

Керування нічним спостереженням

Для нічних умов дослідники за замовчуванням використовують інфрачервоне захоплення, як використовувалося в попередніх дослідницьких проектах, присвячених тому самому виклику. Вони протестували ІЧ-випромінювання з довжинами хвиль 850 і 730 нанометрів і виявили, що найкращі деталі були зафіксовані з довжиною хвилі 730 нм.

У документі стверджується, що необхідні подальші дослідження, щоб визначити, якою мірою захоплення інфрачервоного випромінювання може використовуватися вдень.

дані

Для більш економічної одноетапної версії системи дослідники використали 2,235 зображень номерних знаків із Набір даних Google Open Images, а також 2150 стокових і виготовлених на замовлення зображень мобільних телефонів. Оскільки необхідно було включити зображення телефонів, які тримають водії, 1,700 зображень телефонів було зроблено спеціально для проекту.

Двоетапна система вимагала анотації 487 вітрових стекол, які використовуються для навчання на першому етапі процесу, на додаток до даних, які використовуються в одноетапному процесі.

Оскільки доступу до офіційної інфраструктури дорожнього нагляду не було, усі зображення були зроблені волонтерами, щоб наблизити подібні умови.

Компроміси

Остаточні результати пропонують низку стандартів точності, які потрібно було б порівняти з вартістю впровадження, з чудовим обладнанням для захоплення та результатами обробки, які пропонують найбільшу точність і, можливо, «прийнятну» точність, яку можна отримати шляхом недорогої модернізації існуючого міського обладнання спостереження .

Дешевший «одноступінчастий» конвеєр досягає приблизно 75% точності з найнижчими витратами на впровадження (тобто встановлення дешевого поляризаційного фільтра), тоді як більш складна двоступенева система (яка ізолює область вітрового скла перед пошуком мобільний пристрій, який тримає водій) досягає вищих показників точності, але може бути придатним лише для нової інфраструктури, залежно від доступного бюджету. В обох випадках якість обладнання для захоплення є додатковою змінною.

Як зазначалося вище, уявлення дослідників про життєздатність проекту, здається, ґрунтується на припущенні, що система повинна працювати повністю автономно – вимога сумнівна.

Подивіться на офіційне відео проекту нижче, щоб дізнатися більше про реалізацію та використані підходи.