AI atskleidžia slaptą veiklą, kurią atskleidė Blank Walls

Bendradarbiaujant moksliniams tyrimams, įskaitant NVIDIA ir MIT bendradarbius, buvo sukurtas mašininio mokymosi metodas, kuris gali atpažinti paslėptus žmones tiesiog stebint netiesioginį šalia esančios sienos apšvietimą, net kai žmonės nėra šalia šviečiančių šviesos šaltinių. Šio metodo tikslumas yra beveik 94%, kai bandoma nustatyti paslėptų žmonių skaičių, taip pat galima nustatyti specifinę paslėpto žmogaus veiklą, masiškai sustiprinant šviesos atšokimus, kurie yra nematomi žmogaus akims ir standartiniams vaizdo stiprinimo metodams.

Nepastebimi šviesos trikdžiai, sustiprinti nauju metodu, kuris naudoja konvoliucinius neuroninius tinklus, kad nustatytų pokyčių sritis. Šaltinis: https://www.youtube.com/watch?v=K4PapXyX-bI

Nauja popierius yra tituluojamas Ko galite išmokti žiūrėdami į tuščią sieną, prisidėjus NVIDIA ir MIT, taip pat Izraelio technologijos institutui.

Ankstesnis požiūris į „matymą aplink sienas“ buvo pagrįstas valdomais šviesos šaltiniais arba išankstinėmis žiniomis apie žinomus okliuzijos šaltinius, o nauja technika gali būti taikoma bet kokiam naujam kambariui, nereikalaujant pakartotinio kalibravimo. Du konvoliuciniai neuroniniai tinklai, kurie individualizuoja paslėptus žmones, naudojo duomenis, gautus tik iš 20 scenų.

Projektas skirtas didelės rizikos, saugumui kritinėse situacijose, paieškos ir gelbėjimo operacijoms, bendroms teisėsaugos priežiūros užduotims, reagavimo į ekstremalias situacijas scenarijus, vyresnio amžiaus žmonių kritimo aptikimui ir kaip priemonė aptikti pasislėpusius pėsčiuosius autonominėse transporto priemonėse.

Pasyvus įvertinimas

Kaip dažnai būna kompiuterinės vizijos projektų atveju, pagrindinė užduotis buvo nustatyti, klasifikuoti ir pritaikyti suvokiamus būsenos pokyčius vaizdo sraute. Sujungus pakeitimus atsiranda parašų modeliai, kurie gali būti naudojami identifikuoti kelis asmenis arba nustatyti vieno ar kelių asmenų veiklą.

Darbas atveria galimybę visiškai pasyviai įvertinti sceną, nenaudojant atspindinčių paviršių, Wi-Fi signalai, radaras, garso arba bet kokios kitos „ypatingos aplinkybės“, reikalingos atliekant kitus pastarųjų metų tyrimus, kuriais buvo siekiama nustatyti paslėptą žmogaus buvimą pavojingoje ar kritinėje aplinkoje.

Pavyzdinis duomenų rinkimo scenarijus, naudojamas naujam tyrimui. Objektai yra kruopščiai išdėstyti taip, kad nemestų šešėlių ar tiesiogiai neuždengtų šviesos, taip pat neleidžiami jokie atspindintys paviršiai ar kiti „apgaulingi“ vektoriai. Šaltinis: https://arxiv.org/pdf/2108.13027.pdf

Aplinkos šviesa pagal tipinį programos scenarijų nuslopintų bet kokius nedidelius trikdžius, kuriuos sukelia atspindėta šviesa nuo žmonių, paslėptų kitose scenos vietose. Tyrėjai apskaičiavo, kad žmonių šviesos trukdžių indėlis paprastai būtų mažesnis nei 1% visos matomos šviesos.

Statinio apšvietimo pašalinimas

Norint išskirti judesį iš tariamai statinio sienos vaizdo, būtina apskaičiuoti vaizdo įrašo laiko vidurkį ir pašalinti jį iš kiekvieno kadro. Gauti judėjimo modeliai paprastai yra žemiau net geros kokybės vaizdo įrangos triukšmo slenksčio, ir iš tikrųjų didžioji dalis judėjimo vyksta neigiamų pikselių erdvėje.

Norėdami tai ištaisyti, tyrėjai sumažina vaizdo įrašo imtį 16 kartų ir padidina gautą filmuotą medžiagą 50 kartų, kartu pridedant vidutinį pilką bazinį lygį, kad būtų galima pastebėti neigiamų pikselių buvimą (to negalima paaiškinti pradiniame vaizdo įraše). jutiklio triukšmas).

Skirtumas tarp žmogaus suvokiamos sienos ir išgautų paslėptų individų trikdžių. Kadangi vaizdo kokybė yra pagrindinė šio tyrimo problema, žiūrėkite oficialų vaizdo įrašą straipsnio pabaigoje, kad gautumėte aukštesnės kokybės vaizdą.

Galimybės suvokti judėjimą langas yra labai trapus ir jį gali paveikti net 60 Hz kintamosios srovės dažnio šviesų mirgėjimas. Todėl šis natūralus trikdymas taip pat turi būti įvertintas ir pašalintas iš filmuotos medžiagos, kol atsiras žmogaus sukeltas judėjimas.

Galiausiai sistema sukuria erdvės ir laiko brėžinius, kurie signalizuoja tam tikrą paslėptų kambario gyventojų skaičių – atskirus vaizdinius parašus:

Signatūriniai erdvės ir laiko siužetai, vaizduojantys skirtingą paslėptų žmonių skaičių kambaryje.

Įvairi žmogaus veikla taip pat sukels parašo sutrikimus, kuriuos galima klasifikuoti ir vėliau atpažinti:

Erdvės ir laiko siužetas rodo neveiklumą, vaikščiojimą, pritūpimą, mojavimą rankomis ir šokinėjimą.

Siekiant sukurti automatizuotą mašininiu mokymusi pagrįstą paslėptų asmenų atpažinimo darbo eigą, įvairi filmuota medžiaga iš 20 tinkamų scenarijų buvo panaudota apmokant du neuroninius tinklus, veikiančius pagal iš esmės panašias konfigūracijas – vienas skaičiuoti žmonių skaičių scenoje, o kitas – nustatyti bet kokį judėjimą.

Testavimas

Tyrėjai išbandė apmokytą sistemą dešimtyje nematytų realių aplinkų, skirtų atkurti apribojimus, numatytus galutiniam diegimui. Sistema sugebėjo pasiekti iki 94.4% tikslumą (daugiau nei 256 kadrai – paprastai šiek tiek daugiau nei 8 sekundės vaizdo įrašo) klasifikuodama paslėptų žmonių skaičių ir iki 93.7% tikslumą (esant toms pačioms sąlygoms) klasifikuodama veiklą. Nors tikslumas mažėja naudojant mažiau šaltinio kadrų, tai nėra tiesinis kritimas ir net 64 kadrai bus 79.4 % tikslumo rodiklis vertinant žmonių skaičių (palyginti su beveik 95 % keturis kartus didesniu kadrų skaičiumi).

Nors šis metodas yra atsparus oro sąlygų pokyčiams, jis sunkiai veikia scenoje, apšviestoje televizoriaus, arba tokiomis aplinkybėmis, kai žmonės dėvi monotoniškus drabužius, kurių spalva yra tokia pati kaip atspindinti siena.

Daugiau informacijos apie tyrimą, įskaitant aukštesnės kokybės gavybos filmuotą medžiagą, galite pamatyti toliau pateiktame oficialiame vaizdo įraše.