AI разкрива тайната дейност, разкрита от празни стени

Изследователско сътрудничество, включително сътрудници от NVIDIA и MIT, разработи a машинно обучение метод, който може да идентифицира скрити хора просто чрез наблюдение на индиректно осветление на близката стена, дори когато хората не са близо до осветяващите източници на светлина. Методът има точност близо до 94%, когато се опитва да идентифицира броя на скритите хора и може също така да идентифицира специфичната активност на скрит човек чрез масово усилване на светлинните отскоци, които са невидими за човешките очи и за стандартните методи за усилване на изображението.

Незабележими смущения на светлината, усилени от новия метод, който използва конволюционни невронни мрежи за идентифициране на области на промяна. Източник: https://www.youtube.com/watch?v=K4PapXyX-bI

Новото хартия е озаглавен Какво можете да научите, като се взирате в празна стена, с принос от NVIDIA и MIT, както и от Израелския технологичен институт.

Предишните подходи за „виждане около стени“ са разчитали на контролируеми източници на светлина или предварително познаване на известни източници на оклузия, докато новата техника може да се обобщи за всяка нова стая, без изискване за повторно калибриране. Двете конволюционни невронни мрежи, които индивидуализират скрити хора, са използвали данни, получени само от 20 сцени.

Проектът е насочен към високорискови, критични за сигурността ситуации, за операции по търсене и спасяване, общи задачи за наблюдение на правоприлагащите органи, сценарии за реагиране при извънредни ситуации, за откриване на падане сред възрастни хора и като средство за откриване на скрити пешеходци за автономни превозни средства.

Пасивна оценка

Както често се случва с компютърно зрение проекти, централната задача беше да се идентифицират, класифицират и операционализират възприеманите промени в състоянието в поток от изображения. Свързването на промените води до модели на подписи, които могат да се използват или за идентифициране на няколко лица, или за откриване на дейността на един или повече лица.

Работата отваря възможността за напълно пасивна оценка на сцената, без да е необходимо да се използват отразяващи повърхности, Wi-Fi сигнали, радар, звук или всякакви други „специални обстоятелства“, изисквани в други изследователски усилия от последните години, които се опитват да установят скрито човешко присъствие в опасна или критична среда.

Примерен сценарий за събиране на данни от типа, използван за новото изследване. Субектите са внимателно позиционирани, за да не хвърлят сенки или да закриват директно някакви светлини, и не са разрешени отразяващи повърхности или други „измамни“ вектори. Източник: https://arxiv.org/pdf/2108.13027.pdf

Ефективно, околната светлина за типичния сценарий, предвиден за приложението, ще преодолее всички незначителни смущения, причинени от отразена светлина от хора, скрити другаде в сцената. Изследователите изчисляват, че приносът на светлинните смущения на индивидите обикновено е по-малко от 1% от общата видима светлина.

Премахване на статично осветление

За да се извлече движение от очевидно статичното изображение на стената, е необходимо да се изчисли средната времева стойност на видеото и да се премахне от всеки кадър. Получените модели на движение обикновено са под прага на шума дори на видео оборудване с добро качество и всъщност голяма част от движението се случва в рамките на отрицателно пикселно пространство.

За да поправят това, изследователите намаляват семплирането на видеото с коефициент 16 и повишават размера на получените кадри с коефициент 50, като същевременно добавят базово ниво на средно сиво, за да разпознаят наличието на отрицателни пиксели (които не могат да бъдат отчетени от базовото видео сензорен шум).

Разликата между възприетата от човека стена и извлеченото смущение на скрити индивиди. Тъй като качеството на изображението е централен въпрос в това изследване, моля, вижте официалния видеоклип в края на статията за изображение с по-високо качество.

Прозорецът на възможността за възприемане на движение е много крехък и може да бъде повлиян дори от трептене на светлини при 60 Hz AC честота. Следователно това естествено смущение също трябва да бъде оценено и премахнато от кадрите, преди да се появи предизвикано от човек движение.

И накрая, системата произвежда пространствено-времеви диаграми, които сигнализират за определен брой скрити обитатели на стаята – дискретни визуални сигнатури:

Сигнатурни пространствено-времеви графики, представящи различен брой скрити хора в стая.

Различните човешки дейности също ще доведат до характерни смущения, които могат да бъдат класифицирани и по-късно разпознати:

Сигнатурите на пространствено-времевия график за бездействие, ходене, приклекване, размахване на ръце и скачане.

За да се създаде автоматизиран работен процес, базиран на машинно обучение, за разпознаване на скрити лица, бяха използвани разнообразни кадри от 20 подходящи сценария за обучение на две невронни мрежи, работещи на почти сходни конфигурации – едната да брои броя на хората в сцена, а другата да идентифицира всяко движение, което се случва.

Тестване

Изследователите тестваха обучената система в десет невиждани среди от реалния свят, предназначени да пресъздадат ограниченията, очаквани за окончателно внедряване. Системата успя да постигне до 94.4% точност (над 256 кадъра – обикновено малко над 8 секунди видео) при класифицирането на броя на скритите хора и до 93.7% точност (при същите условия) при класифицирането на дейности. Въпреки че точността пада с по-малко изходни кадри, това не е линеен спад и дори 64 кадъра ще постигнат степен на точност от 79.4% за оценка на „брой хора“ (срещу почти 95% за четири пъти по-голям брой кадри).

Въпреки че методът е устойчив на метеорологични промени в осветлението, той се бори в сцена, осветена от телевизор, или при обстоятелства, при които хората носят монотонни дрехи със същия цвят като отразяващата стена.

Повече подробности за изследването, включително висококачествени кадри от екстракциите, можете да видите в официалното видео по-долу.