AI Раскрывает Секретную Активность, Раскрытую Пустыми Стенами

Исследовательское сотрудничество, включающее вкладчиков из NVIDIA и MIT, разработало метод машинного обучения, который может определить скрытых людей, просто наблюдая за косвенным освещением на ближайшей стене, даже когда люди находятся недалеко от источников света. Метод имеет точность gầnко 94% при попытке определить количество скрытых людей и может определить конкретную активность скрытого человека, сильно усиливая отражения света, которые невидимы для человеческого глаза и стандартных методов усиления изображения.

Неощутимые возмущения света, усиленные новым методом, который использует свёрточные нейронные сети для определения областей изменения. Source: https://www.youtube.com/watch?v=K4PapXyX-bI

Новая работа озаглавлена Что Вы Можете Узнать, Глядя на Пустую Стену, с вкладом от NVIDIA и MIT, а также Израильского технологического института.

Предыдущие подходы к “видению за стенами” полагались на контролируемые источники света или предварительные знания известных источников заслонения, тогда как новый метод может обобщаться на любую новую комнату, без требования к перекалибровке. Две свёрточные нейронные сети, которые индивидуализируют скрытых людей, использовали данные, полученные из только 20 сцен.

Проект направлен на высокорисковые, критические ситуации безопасности, для поисково-спасательных операций, общих задач видеонаблюдения, сценариев реагирования на чрезвычайные ситуации, для обнаружения падения среди пожилых людей и как средство обнаружения скрытых пешеходов для автономных транспортных средств.

Пассивная Оценка

Как часто бывает с проектами компьютерного зрения, центральной задачей было определить, классифицировать и операционализировать воспринимаемые изменения состояния в потоке изображений. Конкатенация изменений приводит к сигнатурам, которые можно использовать либо для определения количества людей, либо для обнаружения активности одного или нескольких людей.

Работа открывает возможность完全 пассивной оценки сцены, без необходимости использования отражающих поверхностей, сигналов Wi-Fi, радара, звука или любых других “специальных обстоятельств”, необходимых в других исследованиях recent лет, которые пытались установить скрытое присутствие человека в опасной или критической среде.

Пример сценария сбора данных, использованного для нового исследования. Объекты тщательно позиционированы, чтобы не отбрасывать тени или напрямую заслонять любые источники света, и не используются отражающие поверхности или другие “обходные” векторы. Source: https://arxiv.org/pdf/2108.13027.pdf

По сути, окружающий свет для типичного сценария, предвиденного для применения, будет перекрывать любые незначительные возмущения, вызванные отраженным светом от людей, скрытых в другом месте сцены. Исследователи рассчитывают, что вклад возмущения света от людей обычно будет меньше 1% от общего видимого света.

Удаление Статического Освещения

Чтобы извлечь движение из кажущегося статичным изображения стены, необходимо рассчитать временное среднее видео и удалить его из каждого кадра. Полученные закономерности движения обычно находятся ниже порога шума даже хорошего качества видеооборудования, и по сути большая часть движения происходит в отрицательном пространстве пикселей.

Чтобы исправить это, исследователи снижают качество видео в 16 раз и увеличивают полученное видео в 50 раз, добавляя средний серый базовый уровень, чтобы различать присутствие отрицательных пикселей (которые не могли быть учтены шумом базового видеосенсора).

Разница между стеной, воспринимаемой человеком, и извлеченным возмущением скрытых людей. Поскольку качество изображения является центральным вопросом в этом исследовании, пожалуйста, обратитесь к официальному видео в конце статьи для более высококачественного изображения.

Возможность воспринимать движение очень хрупка и может быть затронута даже миганием света на частоте 60 Гц. Следовательно, это естественное возмущение также должно быть оценено и удалено из видео, прежде чем движение, вызванное человеком, станет очевидным.

Наконец, система производит пространственно-временные графики, которые сигнализируют о конкретном количестве скрытых обитателей комнаты – дискретные визуальные сигнатуры:

Сигнатуры пространственно-временных графиков, представляющие разное количество скрытых людей в комнате.

Различные человеческие активности также приведут к сигнатурам возмущений, которые можно классифицировать и позже распознавать:

Сигнатуры пространственно-временных графиков для бездействия, ходьбы, приседания, размахивания руками и прыжков.

Чтобы произвести автоматизированный машинный обучающий поток для распознавания скрытых людей, использовались разнообразные кадры из 20 подходящих сценариев для обучения двух нейронных сетей, работающих на примерно одинаковых конфигурациях – одной для подсчета количества людей в сцене и другой для определения любого движения, происходящего.

Тестирование

Исследователи протестировали обученную систему в десяти незнакомых реальных средах, предназначенных для воспроизведения ограничений, предвиденных для окончательного развертывания. Система смогла достичь до 94,4% точности (за 256 кадров – обычно чуть более 8 секунд видео) при классификации количества скрытых людей и до 93,7% точности (при тех же условиях) при классификации активности. Хотя точность снижается с меньшим количеством исходных кадров, это не линейное снижение, и даже 64 кадра обеспечат 79,4% точности для оценки “количество людей” (по сравнению с почти 95% для четырехкратного количества кадров).

Хотя метод устойчив к погодным изменениям освещения, он испытывает трудности в сцене, освещенной телевизором, или в обстоятельствах, когда люди носят однотонную одежду того же цвета, что и отражающая стена.

Более подробную информацию об исследовании, включая видео более высокого качества извлечений, можно увидеть в официальном видео ниже.