Tekoäly paljastaa salatun toiminnan, joka ilmenee tyhjillä seinillä

Tutkimusyhteistyö, johon osallistuivat muun muassa NVIDIA:n ja MIT:n edustajat, on kehittänyt tekoälymenetelmän, joka voi tunnistaa piilossa olevat ihmiset vain havainnoimalla epäsuoraa valaistusta lähellä olevalla seinällä, vaikka ihmiset eivät ole lähellä valonlähteitä. Menetelmällä on lähes 94 prosentin tarkkuus piilossa olevien ihmisten määrän tunnistamisessa, ja se voi myös tunnistaa piilossa olevan henkilön tietyn toiminnan voimakkaasti amplifioimalla valonheijastuksia, jotka ovat näkymättömiä ihmissilmille ja tavallisille kuvanvahvistusmenetelmille.

Havainnoimattomat valon muutokset, jotka ovat amplifioitu uudella menetelmällä, joka käyttää konvoluutioneuroverkkoja muutosten havainnoimiseen. Lähde: https://www.youtube.com/watch?v=K4PapXyX-bI

Uusi julkaisu on nimeltään Mitä voit oppia tuijottamalla tyhjää seinää, ja siihen ovat osallistuneet NVIDIA, MIT ja Israelin teknillinen korkeakoulu.

Aikaisemmat “näkemisen seinän takana” -menetelmät ovat riippuneet ohjattavista valonlähteistä tai tiedosta tunnetuista esteiden lähteistä, kun taas uusi tekniikka voi yleistää mihin tahansa uuteen huoneeseen ilman uudelleenkalibrointia. Kaksi konvoluutioneuroverkkoa, jotka erottavat piilossa olevat ihmiset, käyttivät dataa vain 20 kohtauksesta.

Hanke on suunnattu korkean riskin, turvallisuuden kannalta kriittisiin tilanteisiin, etsintä- ja pelastustehtäviin, yleisiin valvontatehtäviin, hätätilannekohtauksiin, vanhusten kaatumisen havaitsemiseen ja piilossa olevien jalankulkijoiden havaitsemiseen itseohjautuvissa ajoneuvoissa.

Passiivinen arviointi

Kuten usein on tapahtunut tietokoneen näköhavainnoissa, keskeinen tehtävä oli tunnistaa, luokitella ja käyttää havaittuja tilan muutoksia kuvavirrassa. Muutosten yhdistäminen johtaa signatuurimuotoon, jota voidaan käyttää joko piilossa olevien ihmisten määrän tunnistamiseen tai yhden tai useamman henkilön toiminnan havaitsemiseen.

Työ avaa mahdollisuuden täysin passiiviseen kohteen arviointiin ilman heijastavien pintojen, Wi-Fi-signaalejen, radarin, äänen tai minkään muun “erityisen tilanteen” tarvetta, jota on vaadittu viimeaikaisissa tutkimuksissa, joissa on pyritty vahvistamaan piilossa olevan ihmisen läsnäolo vaarallisessa tai kriittisessä ympäristössä.

Esimerkki datakeräyskohtauksesta, jota on käytetty uudessa tutkimuksessa. Lähde: https://arxiv.org/pdf/2108.13027.pdf

Ilmanvalon osuus tyypillisessä sovelluskohtauksessa olisi yleensä valtaisa verrattuna ihmisten aiheuttamiin valonmuutoksiin. Tutkijat laskevat, että valon häiriöntuotto henkilöiltä olisi tyypillisesti alle 1 prosenttia näkyvän valon kokonaismäärästä.

Poistaminen staattista valaistusta

Jotta liike voidaan erottaa näennäisesti staattisesta seinäkuvasta, on laskettava videon keskiarvo ja poistettava se jokaisesta kehyksestä. Tuloksena olevat liikkeen kuviot ovat yleensä alle hyvänlaatuisen videolaitteiston melunrajan, ja suurin osa liikkeestä tapahtuu negatiivisessa pikselitilassa.

Tätä varten tutkijat pienentävät videota 16-kertaisesti ja suurentavat tuloksena olevan kuvan 50-kertaisesti, ja lisäävät keskivertaisen tasotason, jotta voidaan erottaa negatiiviset pikselit (joita ei voida selittää perusvideolaitteiston melulla).

Ero ihmis silmin näkemän seinän ja piilossa olevien henkilöiden häiriöntuotteen välillä.

Liikkeen havaitsemisen aikana on erittäin haavoittuvainen, ja se voidaan vaikuttaa jopa valojen 60 Hz:n taajuuden mukaan. Tämän luonnollisen häiriöntuoton on arvioitava ja poistettava kuvasta ennen kuin henkilöiden aiheuttama liike voidaan erottaa.

Lopulta järjestelmä tuottaa aikataulukuviot, jotka merkitsevät tietyn määrän piilossa olevia huoneen asukkaita – diskreettejä visuaalisia signatuureja:

Signatuuri-aikataulukuviot, jotka edustavat eri määrää piilossa olevia ihmisiä huoneessa.

Eri ihmiset harjoittavat eri toimintaa, mikä johtaa signatuurihäiriöntuoksiin, jotka voidaan luokitella ja myöhemmin tunnistaa:

Aikataulukuviot, jotka edustavat eri toimintaa.

Jotta voidaan tuottaa automaattinen tekoälypohjainen työkalu piilossa olevien henkilöiden tunnistamiseen, käytettiin monipuolista kuvamateriaalia 20 sovellettavasta kohtauksesta kouluttaa kaksi neuroverkkoa, jotka toimivat laajasti samankaltaisilla konfiguraatioilla – yksi piilossa olevien ihmisten määrän laskemiseen ja toinen liikkeen tunnistamiseen.

Testaus

Tutkijat testasivat koulutettua järjestelmää kymmenessä näkymättömässä todellisessa ympäristössä, joka oli suunniteltu jäljentämään odotettuja rajoituksia lopullisessa käytössä. Järjestelmä saavutti jopa 94,4 prosentin tarkkuuden piilossa olevien ihmisten määrän luokittelussa (256 kehyksestä, eli noin 8 sekunnin videopituisesti) ja jopa 93,7 prosentin tarkkuuden toiminnan luokittelussa (samassa tilanteessa). Vaikka tarkkuus laskee vähemmän kehysmäärällä, se ei ole lineaarinen lasku, ja jopa 64 kehyksellä saavutetaan 79,4 prosentin tarkkuus “ihmisten määrän” arvioinnissa (noin 95 prosenttia neljän kertaisella kehysmäärällä).

Menetelmä on vankka sääoloon perustuvien valaistuksen muutosten suhteen, mutta se kamppailee kohtauksessa, jossa valaistus tulee televisiosta, tai tilanteissa, joissa ihmiset pukeutuvat yksivärisiin vaatteisiin, jotka ovat samanvärisiä kuin heijastava seinä.

Lisätietoja tutkimuksesta, mukaan lukien korkealaatuisempi kuvamateriaali, on nähtävissä virallisessa videossa alla.