AI paljastaa salatun toiminnan, joka ilmenee tyhjillä seinillä

Tutkimusyhteistyö, johon osallistuvat muun muassa NVIDIA ja MIT, on kehittänyt koneälymenetelmän, joka voi tunnistaa piilossa olevat ihmiset vain havainnoimalla epäsuoraa valaistusta lähellä olevalla seinällä, vaikka ihmiset eivät ole lähellä valonlähteitä. Menetelmällä on 94 %:n tarkkuus piilossa olevien ihmisten määrän tunnistamisessa, ja se voi myös tunnistaa piilossa olevan henkilön tietyn toiminnan voimakkaasti amplifioimalla valon heijastuksia, jotka ovat näkymättömiä ihmisen silmille ja tavallisille kuvanvahvistusmenetelmille.

Havainnomattomat valon muutokset, jotka uusi menetelmä amplifioi, käyttäen konvoluutio-neuroverkkoja muutosten tunnistamiseen. Lähde: https://www.youtube.com/watch?v=K4PapXyX-bI

Uusi artikkeli on nimeltään Mitä voit oppia tuijottamalla tyhjää seinää, ja siihen ovat osallistuneet NVIDIA, MIT ja Israelin teknillinen korkeakoulu.

Aiemmat “seinän takana näkemisen” menetelmät ovat riippuvaisia ohjattavista valonlähteistä tai tiedosta tunnetuista esteiden lähteistä, kun taas uusi tekniikka voidaan yleistää mihin tahansa uuteen huoneeseen ilman uudelleenkalibrointia. Kaksi konvoluutio-neuroverkkoa, jotka erottavat piilossa olevat ihmiset, käyttivät dataa vain 20 kohtauksesta.

Projekti on suunnattu korkean riskin, turvallisuuden kannalta kriittisiin tilanteisiin, etsintä- ja pelastustoimiin, yleisiin valvontatehtäviin, hätätilannekohtauksiin, vanhusten kaatumisen havaitsemiseen ja piilossa olevien jalankulkijoiden havaitsemiseen itseajavissa ajoneuvoissa.

Passiivinen arviointi

Kuten usein on tapahtunut tietokoneen näköhavainnoissa, keskeinen tehtävä oli tunnistaa, luokitella ja käyttää havaittuja tilan muutoksia kuvavirrassa. Muutosten yhdistäminen johtaa signatuurimuotoon, jota voidaan käyttää joko yksilöiden määrän tunnistamiseen tai yhden tai useamman yksilön toiminnan havaitsemiseen.

Tutkimus avaa mahdollisuuden täysin passiiviseen kohtauksen arviointiin ilman heijastuvien pintojen, Wi-Fi-signaalejen, radarin, äänen tai minkään muun “erityisolosuhteiden” tarvetta, joita on vaadittu viimeaikaisissa tutkimuksissa, jotka ovat pyrkineet vahvistamaan piilossa olevan ihmisen läsnäolon vaarallisessa tai kriittisessä ympäristössä.

Esimerkki aineistonkeruutilanteesta, jota uudessa tutkimuksessa käytettiin. Lähde: https://arxiv.org/pdf/2108.13027.pdf

Tyypillisen soveltamistilanteen ympäristövalo voisi häikäistä minkä tahansa pienet häiriöt, jotka johtuvat valon heijastumisesta piilossa olevista ihmisistä. Tutkijat laskevat, että valon häiriöntekijän osuus yksilöistä olisi tyypillisesti alle 1 % näkyvän valon määrästä.

Staattisen valaistuksen poistaminen

Jotta liikettä voidaan erottaa näennäisesti staattisesta seinäkuvasta, on laskettava videon keskiarvo ja poistettava se jokaisesta kehyksestä. Liikkeen jäänteet ovat yleensä alle hyvänlaatuisen videolaitteiston melun kynnyksen, ja liike tapahtuu käytännössä negatiivisessa pikselitilassa.

Tätä varten tutkijat alentavat videon 16-kertaisesti ja suurentavat tuloksena olevan kuvan 50-kertaisesti, ja lisäävät keskivertaisen tasotason negatiivisten pikselien havaitsemiseksi (joita ei voida selittää perusvideonsäätömelulla).

Ero ihmisen havaitsemassa seinässä ja piilossa olevien yksilöiden häiriössä.

Liikkeen havaitsemisen mahdollisuus on hyvin hauras, ja se voidaan vaikuttaa jopa valojen 60 Hz:n taajuuden vilkkumisella. Tämän luonnollisen häiriön on myös arvioitava ja poistettava kuvamateriaalista ennen kuin henkilöiden aiheuttama liike tulee näkyviin.

Lopulta järjestelmä tuottaa aika-avaruuskaavioita, jotka merkitsevät tietyn määrän piilossa olevia huoneen asukkaita – diskreettejä visuaalisia signatuureja:

Signatuuri aika-avaruuskaavioita, jotka edustavat eri määrää piilossa olevia ihmisiä huoneessa.

Eri ihmiset harjoittavat toimintaa, joka johtaa signatuurihäiriöihin, jotka voidaan luokitella ja myöhemmin tunnistaa:

Aika-avaruuskaavion signatuurit, jotka liittyvät toimettomuuteen, kävelyyn, polvien notkistamiseen, käden aaltoiluun ja hyppimiseen.

Jotta voidaan tuottaa automaattinen koneälypohjainen työkalu piilossa olevien henkilöiden tunnistamiseen, käytettiin monipuolista kuvamateriaalia 20 sovellettavasta kohtauksesta kouluttaa kaksi neuroverkkoa, jotka toimivat laajasti samankaltaisilla konfiguraatioilla – yksi henkilöiden määrän laskemiseen ja toinen liikkeen tunnistamiseen.

Testaus

Tutkijat testasivat koulutettua järjestelmää kymmenessä näkymättömässä, todellisessa ympäristössä, joka suunniteltiin jäljittelemään lopullisen käytön rajoituksia. Järjestelmä saavutti jopa 94,4 %:n tarkkuuden (256 kehyksestä – tyypillisesti vain yli 8 sekunnin videomateriaalista) piilossa olevien ihmisten määrän luokittelussa ja jopa 93,7 %:n tarkkuuden (samoissa olosuhteissa) toiminnan luokittelussa. Vaikka tarkkuus laskee vähemmän lähtökehyksillä, se ei ole lineaarinen lasku, ja jopa 64 kehyksestä voidaan saavuttaa 79,4 %:n tarkkuusaste “ihmisten määrän” arvioinnissa (näiden kehyksien neljännekseen verrattuna).

Vaikka menetelmä on robusti sääoloon perustuvissa valaistuksen muutoksissa, se kamppailee kohtauksessa, jossa valaistus tulee televisiosta, tai tilanteissa, joissa ihmiset ovat pukeutuneet yksivärisiin vaatteisiin, jotka ovat samanvärisiä kuin heijastava seinä.

Lisätietoja tutkimuksesta, mukaan lukien korkealaatuisempi kuvamateriaali häiriöistä, voidaan nähdä virallisessa videossa alla.