KI ontbloot die geheime aktiwiteit wat deur leë mure onthul is

'n Navorsingsamewerking, insluitende bydraers van NVIDIA en MIT, het 'n machine learning metode wat verborge mense kan identifiseer bloot deur indirekte beligting op 'n nabygeleë muur waar te neem, selfs wanneer die mense nêrens naby die verligtende ligbronne is nie. Die metode het 'n akkuraatheid van byna 94% wanneer daar gepoog word om die aantal versteekte mense te identifiseer, en kan ook die spesifieke aktiwiteit van 'n verborge persoon identifiseer deur ligbons wat onsigbaar is vir menslike oë en aan standaardmetodes van beeldversterking massief te versterk.

Onwaarneembare versteurings van lig, versterk deur die nuwe metode, wat konvolusionele neurale netwerke gebruik om areas van verandering te identifiseer. Bron: https://www.youtube.com/watch?v=K4PapXyX-bI

Die nuwe papier is getiteld Wat jy kan leer deur na 'n leë muur te staar, met bydraes van NVIDIA en MIT, sowel as die Israel Institute of Technology.

Vorige benaderings tot 'om mure sien' het staatgemaak op beheerbare ligbronne, of voorafkennis van bekende bronne van okklusie, terwyl die nuwe tegniek na enige nuwe kamer kan veralgemeen, sonder dat herkalibrasie nodig is. Die twee konvolusionele neurale netwerke wat verborge mense individueel gebruik data verkry uit slegs 20 tonele.

Die projek is gemik op hoërisiko-, sekuriteitskritiese situasies, vir soek- en reddingsoperasies, algemene wetstoepassing-toesigtake, noodreaksie-scenario's, vir valopsporing onder bejaardes, en as 'n manier om versteekte voetgangers vir outonome voertuie op te spoor.

Passiewe Evaluering

Soos dikwels die geval is met rekenaarvisie projekte, was die sentrale taak om waargenome toestandsveranderinge in 'n beeldstroom te identifiseer, klassifiseer en operasionaliseer. Die samevoeging van die veranderinge lei tot handtekeningpatrone wat gebruik kan word om óf 'n aantal individue te identifiseer óf om die aktiwiteit van een of meer individue op te spoor.

Die werk open die moontlikheid van heeltemal passiewe toneel-evaluering, sonder die behoefte om reflektiewe oppervlaktes te gebruik, Wi-Fi seine, radar, klink of enige ander 'spesiale omstandighede' wat vereis word in ander navorsingspogings van onlangse jare wat probeer het om verborge menslike teenwoordigheid in 'n gevaarlike of kritieke omgewing te vestig.

'n Voorbeeld van data-insamelingsscenario van die tipe wat vir die nuwe navorsing gebruik is. Die onderwerpe is versigtig geposisioneer om nie skaduwees te gooi of om enige ligte direk te sluit nie, en geen reflektiewe oppervlaktes of ander 'bedrog'-vektore word toegelaat nie. Bron: https://arxiv.org/pdf/2108.13027.pdf

Effektief sal die omgewingslig vir die tipiese scenario wat vir die toepassing in die vooruitsig gestel word, enige geringe versteurings wat veroorsaak word deur gereflekteerde lig van mense wat elders in die toneel versteek is, oorweldig. Die navorsers bereken dat die ligversteuringsbydrae van die individue tipies minder as 1% van die totale sigbare lig sal wees.

Verwyder statiese beligting

Om beweging uit die oënskynlik statiese muurbeeld te onttrek, is dit nodig om die tydelike gemiddelde van die video te bereken en dit uit elke raam te verwyder. Die gevolglike bewegingspatrone is gewoonlik onder die geraasdrempel van selfs videotoerusting van goeie gehalte, en in werklikheid vind baie van die beweging binne 'n negatiewe piekselspasie plaas.

Om dit reg te stel, verminder die navorsers die video met 'n faktor van 16 en skaal die resulterende beeldmateriaal met 'n faktor van 50 op, terwyl hulle 'n middelgrys basisvlak byvoeg om die teenwoordigheid van negatiewe pixels te onderskei (wat nie deur basislynvideo verreken kon word nie sensor geraas).

Die verskil tussen die mens-waargenome muur, en die onttrekte versteuring van verborge individue. Aangesien beeldkwaliteit 'n sentrale kwessie in hierdie navorsing is, verwys asseblief na die amptelike video aan die einde van die artikel vir 'n hoër-gehalte beeld.

Die geleentheidsvenster om beweging waar te neem is baie broos, en kan selfs deur die flikkering van ligte by 'n 60 Hz AC-frekwensie beïnvloed word. Daarom moet hierdie natuurlike versteuring ook geëvalueer en uit die beeldmateriaal verwyder word voordat persoon-geïnduseerde beweging na vore sal kom.

Laastens produseer die stelsel ruimte-tyd plotte wat 'n spesifieke aantal versteekte kamerbewoners aandui - diskrete visuele handtekeninge:

Handtekening ruimte-tyd plotte wat verskillende getalle versteekte mense in 'n kamer verteenwoordig.

Verskillende menslike aktiwiteite sal ook lei tot kenmerkende versteurings wat geklassifiseer en later herken kan word:

Die ruimte-tyd plot handtekeninge vir onaktiwiteit, loop, hurk, hande waai en spring.

Ten einde 'n geoutomatiseerde masjienleer-gebaseerde werkvloei vir verborge persoonherkenning te produseer, is uiteenlopende beeldmateriaal van 20 ooreenstemmende scenario's gebruik om twee neurale netwerke op te lei wat op breedweg soortgelyke konfigurasies werk - een om die aantal mense in 'n toneel te tel, en die ander om identifiseer enige beweging wat plaasvind.

toets

Die navorsers het die opgeleide stelsel getoets in tien onsigbare werklike omgewings wat ontwerp is om die beperkings wat verwag word vir uiteindelike ontplooiing te herskep. Die stelsel was in staat om tot 94.4% akkuraatheid (meer as 256 rame - tipies net meer as 8 sekondes van video) te bereik in die klassifikasie van die aantal versteekte mense, en tot 93.7% akkuraatheid (onder dieselfde omstandighede) in die klassifikasie van aktiwiteite. Alhoewel akkuraatheid daal met minder bronrame, is dit nie 'n lineêre daling nie, en selfs 64 rame sal 'n 79.4% akkuraatheidskoers vir 'aantal mense'-evaluering behaal (teenoor byna 95% vir vier keer die aantal rame).

Alhoewel die metode sterk is vir weergebaseerde veranderinge in beligting, sukkel dit in 'n toneel wat deur 'n televisie verlig word, of in omstandighede waar die mense eentonige klere dra wat dieselfde kleur as die reflekterende muur dra.

Meer besonderhede van die navorsing, insluitend hoër gehalte beeldmateriaal van die onttrekkings, kan in die amptelike video hieronder gesien word.