AI ја открива тајната активност откриена од Blank Walls

Истражувачка соработка, вклучувајќи соработници од NVIDIA и MIT, разви метод на машинско учење што може да ги идентификува скриените луѓе едноставно со набљудување на индиректно осветлување на блискиот ѕид, дури и кога луѓето не се ни блиску до осветлените извори на светлина. Методот има точност до 94% кога се обидува да го идентификува бројот на скриени луѓе, а исто така може да ја идентификува специфичната активност на скриена личност со масовно засилување на отскокнувањата на светлината кои се невидливи за човечките очи и за стандардните методи за засилување на сликата.

Незабележливи пертурбации на светлината, засилени со новиот метод, кој користи конволутивни невронски мрежи за да ги идентификува областите на промени. Извор: https://www.youtube.com/watch?v=K4PapXyX-bI

Нови хартија е насловен Што можете да научите со зјапање во празен ѕид, со придонеси од NVIDIA и MIT, како и од Израелскиот институт за технологија.

Претходните пристапи за „гледање околу ѕидовите“ се потпираа на контролирани извори на светлина или претходно знаење за познати извори на оклузија, додека новата техника може да се генерализира во секоја нова просторија, без потреба за рекалибрација. Двете конволутивни невронски мрежи кои индивидуализираат скриени луѓе користеле податоци добиени од само 20 сцени.

Проектот е насочен кон ризични, безбедносно-критични ситуации, за операции за пребарување и спасување, општи задачи за надзор на спроведувањето на законот, сценарија за одговор при итни случаи, за откривање пад кај постари лица и како средство за откривање на скриени пешаци за автономни возила.

Пасивна евалуација

Како што често се случува со проектите за компјутерска визија, централната задача беше да се идентификуваат, класифицираат и операционализираат воочените промени на состојбата во потокот на слики. Спојувањето на промените води до шеми на потпис што може да се користат или за да се идентификуваат одреден број поединци или за да се открие активноста на една или повеќе поединци.

Делото отвора можност за целосно пасивна евалуација на сцената, без потреба од користење на рефлектирачки површини, Wi-Fi сигнали, радар, звучи или какви било други „посебни околности“ потребни во други истражувачки напори од последните години кои се обидуваат да воспостават скриено човечко присуство во опасна или критична средина.

Примерок на сценарио за собирање податоци од типот што се користи за новото истражување. Предметите се внимателно поставени за да не фрлаат сенки или директно да затскриваат светла, а не се дозволени рефлектирачки површини или други вектори за „измамник“. Извор: https://arxiv.org/pdf/2108.13027.pdf

Ефикасно, амбиенталното светло за типичното сценарио предвидено за апликацијата ќе ги надмине сите помали нарушувања предизвикани од рефлектираната светлина од луѓето скриени на друго место во сцената. Истражувачите пресметуваат дека придонесот за пореметување на светлината на поединците обично би бил помал од 1% од вкупната видлива светлина.

Отстранување на статичко осветлување

За да се извлече движење од навидум статичната слика на ѕидот, неопходно е да се пресмета временскиот просек на видеото и да се отстрани од секоја рамка. Резултирачките обрасци на движење обично се под прагот на бучава дури и на видео опремата со добар квалитет, и всушност голем дел од движењето се случува во просторот со негативни пиксели.

За да се поправи ова, истражувачите го намалуваат примерокот на видеото за фактор 16 и ја зголемуваат добиената снимка за фактор од 50, додека додаваат средно-сиво основно ниво за да го забележат присуството на негативни пиксели (што не може да се земе предвид со основното видео бучава од сензорот).

Разликата помеѓу ѕидот што го перципира човекот и извлечената пертурбација на скриените поединци. Бидејќи квалитетот на сликата е централно прашање во ова истражување, ве молиме погледнете го официјалното видео на крајот од статијата за слика со повисок квалитет.

Прозорецот на можности да се согледа движењето е многу кревок и може да влијае дури и од треперењето на светлата на фреквенција на наизменична струја од 60 Hz. Затоа, оваа природна пертурбација, исто така, треба да се процени и отстрани од снимката пред да се појави движење предизвикано од личност.

Конечно, системот произведува просторно-временски парцели кои сигнализираат одреден број на жители на скриените простории - дискретни визуелни потписи:

Потпис простор-временски парцели кои претставуваат различен број на скриени луѓе во соба.

Различни човечки активности, исто така, ќе резултираат со пертурбации кои можат да се класифицираат и подоцна да се препознаат:

Простор-времето заплетува потписи за неактивност, одење, свиткување, мавтање со раце и скокање.

Со цел да се создаде автоматизиран работен тек заснован на машинско учење за препознавање скриени личности, се користеа разновидна снимка од 20 соодветни сценарија за да се обучат две невронски мрежи кои работат на широко слични конфигурации - едната за броење на бројот на луѓе во сцената, а другата за идентификувајте кое било движење што се случува.

Тестирање

Истражувачите го тестираа обучениот систем во десет невидени реални средини дизајнирани да ги рекреираат ограничувањата што се очекуваат за крајно распоредување. Системот можеше да постигне до 94.4% точност (над 256 фрејмови - обично нешто повеќе од 8 секунди видео) во класифицирањето на бројот на скриени луѓе и до 93.7% точност (под истите услови) во класифицирањето на активностите. Иако прецизноста паѓа со помалку изворни рамки, тоа не е линеарен пад, па дури и 64 фрејмови ќе постигнат стапка на точност од 79.4% за евалуација на „бројот на луѓе“ (наспроти скоро 95% за четири пати поголем број на рамки).

Иако методот е робустен на промените во осветлувањето засновани на временските услови, тој се бори во сцена осветлена од телевизор или во околности кога луѓето носат монотона облека во иста боја како рефлектирачкиот ѕид.

Повеќе детали од истражувањето, вклучително и поквалитетни снимки од екстракциите, може да се видат во официјалното видео подолу.