Искусственный интеллект раскрывает секретную активность, выявленную пустыми стенами

Исследовательское сотрудничество, в которое входят участники от NVIDIA и MIT, разработало метод машинного обучения, который может выявить скрытых людей, просто наблюдая за косвенным освещением на ближайшей стене, даже когда люди находятся недалеко от источников света. Метод имеет точность gầnко 94% при попытке определить количество скрытых людей и также может определить конкретную активность скрытого человека, сильно усиливая световые отражения, которые невидимы для человеческих глаз и стандартных методов усиления изображения.

Неощутимые возмущения света, усиленные новым методом, который использует свёрточные нейронные сети для выявления областей изменения. Источник: https://www.youtube.com/watch?v=K4PapXyX-bI

Новая статья озаглавлена Что вы можете узнать, глядя на пустую стену, с вкладом от NVIDIA и MIT, а также Израильского технологического института.

Предыдущие подходы к “видению за стенами” полагались на управляемые источники света или предварительные знания известных источников заслонения, тогда как новый метод может обобщаться на любую новую комнату, без требования к перекалибровке. Две свёрточные нейронные сети, которые индивидуализировали скрытых людей, использовали данные, полученные из только 20 сцен.

Проект направлен на высокорисковые, критические ситуации безопасности, для операций поиска и спасения, общих задач наблюдения за соблюдением закона, сценариев реагирования на чрезвычайные ситуации, для обнаружения падений среди пожилых людей и как средство обнаружения скрытых пешеходов для автономных транспортных средств.

Пассивная оценка

Как часто бывает с проектами компьютерного зрения, центральной задачей было выявление, классификация и оперативизация воспринимаемых изменений состояния в потоке изображений. Конкатенация изменений приводит к сигнатурным моделям, которые можно использовать либо для выявления количества людей, либо для обнаружения активности одного или нескольких людей.

Работа открывает возможность完全 пассивной оценки сцены, без необходимости использования отражающих поверхностей, сигналов Wi-Fi, радара, звука или любых других “специальных обстоятельств”, необходимых в других исследованиях recent лет, которые пытались установить скрытое присутствие человека в опасной или критической среде.

Пример сценария сбора данных, использованного для нового исследования. Объекты тщательно позиционированы так, чтобы не отбрасывать тени или直接 заслонять свет, и не используются отражающие поверхности или другие “обходные” векторы. Источник: https://arxiv.org/pdf/2108.13027.pdf

Фактически, окружающий свет для типичного сценария, предусмотренного для применения, будет подавлять любые незначительные возмущения, вызванные отраженным светом от скрытых людей в сцене. Исследователи рассчитывают, что вклад светового возмущения от людей будет обычно меньше 1% от общего видимого света.

Удаление статического освещения

Чтобы извлечь движение из кажущегося статического изображения стены, необходимо рассчитать временное среднее видео и удалить его из каждого кадра. Результатом являются модели движения, которые обычно находятся ниже порога шума даже хорошего качества видеооборудования, и фактически большая часть движения происходит в отрицательном пространстве пикселей.

Чтобы исправить это, исследователи снижают разрешение видео в 16 раз и увеличивают полученное видео в 50 раз, добавляя средний серый уровень, чтобы обнаружить присутствие отрицательных пикселей (которые не могли быть учтены шумом видеосенсора).

Разница между человеческим восприятием стены и извлеченным возмущением скрытых людей. Поскольку качество изображения является центральным вопросом в этом исследовании, пожалуйста, обратите внимание на официальное видео в конце статьи для более высокого качества изображения.

Окно возможностей для восприятия движения очень хрупкое и может быть затронуто даже мерцанием света на частоте 60 Гц. Следовательно, это естественное возмущение также должно быть оценено и удалено из видео прежде, чем движение, вызванное человеком, будет обнаружено.

Наконец, система производит пространственно-временные графики, которые сигнализируют о конкретном количестве скрытых обитателей комнаты – дискретные визуальные сигнатуры:

Сигнатурные пространственно-временные графики, представляющие разное количество скрытых людей в комнате.

Разные человеческие активности также приведут к сигнатурным возмущениям, которые можно классифицировать и позже распознать:

Пространственно-временные графики-сигнатуры для бездействия, ходьбы, приседания, махания руками и прыжков.

Чтобы создать автоматизированный машинно-обучающийся рабочий процесс для распознавания скрытых людей, было использовано разнообразное видео из 20 подходящих сценариев для обучения двух нейронных сетей, работающих на примерно одинаковых конфигурациях – одну для подсчета количества людей в сцене и другую для выявления любого движения.

Тестирование

Исследователи протестировали обученную систему в десяти незнакомых реальных средах, предназначенных для воспроизведения ограничений, ожидаемых для окончательного развертывания. Система смогла достичь до 94,4% точности (за 256 кадров – обычно чуть более 8 секунд видео) при классификации количества скрытых людей и до 93,7% точности (при тех же условиях) при классификации активностей. Хотя точность снижается с меньшим количеством исходных кадров, это не линейное снижение, и даже 64 кадра обеспечат скорость точности 79,4% для оценки “количество людей” (по сравнению с почти 95% для четырех раз большего количества кадров).

Хотя метод является устойчивым к погодным изменениям освещения, он испытывает трудности в сцене, освещенной телевизором, или в обстоятельствах, когда люди носят одежду одного цвета со стеной.

Более подробную информацию о исследовании, включая видео более высокого качества извлечений, можно увидеть в официальном видео ниже.