Определение опьянения с помощью анализа глаз с использованием машинного обучения

Исследователи из Германии и Чили разработали новую систему машинного обучения, способную оценивать, находится ли человек в состоянии опьянения, на основе ближней инфракрасной съемки глаз.

Исследование направлено на разработку систем “годности для службы” в реальном времени, которые могут оценивать готовность человека выполнять критические задачи, такие как вождение или управление машинами, и использует новую и обученную систему обнаружения объектов, которая может выделить компоненты глаз из одного изображения и оценить их по базе данных, содержащей изображения глаз опьяненных и неопьяненных людей.

Выделение глаз с помощью системы You Only Look Once (YOLO), после чего система разделяет экземпляры и выполняет сегментацию, чтобы разбить изображение глаза на составные части. Источник: https://arxiv.org/pdf/2106.15828.pdf

Сначала система захватывает и выделяет изображение каждого глаза с помощью системы обнаружения объектов You-Only-Look-Once (YOLO). После этого используются две оптимизированные сети для разбиения изображений глаз на семантические области – сеть внимания Criss Cross (CCNet), выпущенная в 2020 году Университетом науки и технологии Хуачжун, и алгоритм сегментации DenseNet10, также разработанный некоторыми исследователями из Чили.

Сегментация, полученная из ближней инфракрасной съемки глаз. Источник: https://www.researchgate.net/publication/346903035_Towards_an_Efficient_Segmentation_Algorithm_for_Near-Infrared_Eyes_Images#pf6

Эти два алгоритма используют только 122 514 и 210 732 параметров соответственно – это скромная сумма по сравнению с некоторыми более крупными наборами функций в аналогичных моделях, и идет вразрез с общей тенденцией к увеличению объема данных в рамках машинного обучения.

База данных пьяных

Чтобы проинформировать систему машинного обучения, исследователи разработали оригинальную базу данных, содержащую 266 пьяных и 765 трезвых людей.

Примеры, полученные из базы данных пьяных и неопьяненных людей.

Участникам необходимо было стоять перед двумя камерами Iritech, Gemini/Venus, лицом к устройству, и быть записанными в трезвом состоянии. После этого они потребляли 200 мл алкоголя и были повторно записаны через 15-минутные интервалы, пока их уровень алкоголя в крови не достигал максимального значения через 60 минут после потребления алкоголя.

Это дало 21 309 изображений, которые затем были аннотированы с помощью библиотеки Python imgaug.

Подготовка данных для реального мира

Это не была высокоавтоматизированная рабочая программа, несмотря на использование передовых инструментов – ручная маркировка изображений глаз была описана исследователями как “очень требовательный и трудоемкий процесс”, который занял более года.

Данные были агрессивно дополнены серией методов, предназначенных для деградации и проверки системы, имитируя возможные реальные условия, включая снежинки, шум Пуассона (для имитации низкокачественных датчиков), размытие, брызги и эффекты дождя. Кроме того, использование инфракрасной съемки устраняет необходимость идеальных условий освещения, которые не могут быть гарантированы в экономически и практически осуществимых развертываниях.

Эта изнурительная работа в конечном итоге окупилась с уровнем точности 98,60% для захвата и сегментации глаз.

Сегментация радужной оболочки с помощью метода наименьших квадратов.

Тестирование

Фреймворк сегментации был протестирован на пяти платформах: Osiris, DeepVOG, DenseNet10 (см. выше), CCNet (см. выше) и Grand-Mean. Во всех случаях анализ показал успешные результаты для корреляции расширения зрачков с уровнем опьянения, хотя гибридный подход, использующий DenseNet и CCNet, оказался наиболее эффективным.

Исследователи полагают, что их работа может быть в конечном итоге включена в стандартный датчик радужной оболочки ближней инфракрасной области, и отмечают, что геркулесовы усилия по созданию базы данных глаз пьяных людей, скорее всего, принесут пользу этому сектору биометрических исследований.

Тестирование опьянения потребителей и промышленности через оценку глаз

Новое исследование основано на некоторых заметных предыдущих работах, включая семинальную статью 2015 года исследователей из Бразилии и США, в которой был предложен систематический и рационализированный метод оценки опьянения по реакции зрачков. Исследователи этой статьи наблюдали, что алкоголь снижает эффективность работы мозга и нарушает ночное зрение на 25%, и время реакции на 30%, с разными уровнями тяжести в зависимости от индивидуальных толерантных уровней.

Источник: https://pixellab.group/publication/2015/pinheiro2015/pinheiro2015.pdf

Основная проблема для распространения таких технологий заключается в их портативности. Already в 2003 году британская исследовательская компания Hampton Knight предложила систему для оценки опьянения через анализ глаз – хотя она стоила 10 000 фунтов стерлингов на тот момент.

Предварительное исследование 2012 года из Нью-Дели и США также изучало возможность использования систематических методов искусственного интеллекта для получения оценки опьянения из изображений глаз, хотя с меньшим успехом, чем текущее исследование. Это исследование также внесло ценный вклад в базу данных (IITD Iris Under Alcohol Influence) в эту область.

Однако recent инновации в области вычислений на краю сети и оптимизированного мобильного оборудования для машинного обучения открывают возможности для гораздо более мобильных приложений предварительных проверок на опьянение, включая датчики в автомобилях, которые потенциально могут добавить проверку радужной оболочки к текущим методам, представляющим интерес для системы обнаружения алкоголя в крови водителей (DADSS), разрабатываемой в США – которая на данный момент полагалась на датчики алкоголя в коже и оценку воздуха в транспортном средстве на наличие паров алкоголя.

Отчет 2020 года оценил, что принятие технологий этого типа может спасти 11 000 жизней в год только в США.