AI atklāj slepeno darbību, ko atklāja Blank Walls

Sadarbība pētniecībā, tostarp NVIDIA un MIT līdzstrādnieki, ir izstrādājusi mašīnmācīšanās metodi, kas var identificēt slēptos cilvēkus, vienkārši novērojot netiešu apgaismojumu uz tuvējās sienas, pat ja cilvēki neatrodas ne tuvu apgaismojošajiem gaismas avotiem. Metodes precizitāte ir gandrīz 94%, mēģinot identificēt slēpto cilvēku skaitu, kā arī var noteikt slēptās personas specifisko darbību, masveidā pastiprinot gaismas atlēcienus, kas ir neredzami cilvēka acīm un standarta attēla pastiprināšanas metodēm.

Nemanāmi gaismas traucējumi, ko pastiprina jaunā metode, kas izmanto konvolucionālos neironu tīklus, lai identificētu izmaiņu apgabalus. Avots: https://www.youtube.com/watch?v=K4PapXyX-bI

Jaunais papīrs tiek nosaukts Ko jūs varat uzzināt, skatoties uz tukšu sienu, ar NVIDIA un MIT, kā arī Izraēlas Tehnoloģiju institūta ieguldījumu.

Iepriekšējās pieejas "redzēšanai ap sienām" balstījās uz vadāmiem gaismas avotiem vai iepriekšējām zināšanām par zināmiem oklūzijas avotiem, turpretim jauno paņēmienu var vispārināt jebkurā jaunā telpā, bez nepieciešamības veikt atkārtotu kalibrēšanu. Divi konvolucionālie neironu tīkli, kas individualizē slēptos cilvēkus, izmantoja datus, kas iegūti tikai no 20 ainām.

Projekts ir paredzēts augsta riska, drošībai kritiskās situācijās, meklēšanas un glābšanas operācijām, vispārīgiem tiesībaizsardzības uzraudzības uzdevumiem, ārkārtas reaģēšanas scenārijiem, kritienu noteikšanai gados vecāku cilvēku vidū un kā līdzekli slēptu gājēju atklāšanai autonomajiem transportlīdzekļiem.

Pasīvā vērtēšana

Kā tas bieži notiek ar datorredzes projektiem, galvenais uzdevums bija identificēt, klasificēt un izmantot uztvertās stāvokļa izmaiņas attēlu plūsmā. Izmaiņu savienošana rada parakstu modeļus, kurus var izmantot, lai identificētu vairākas personas vai noteiktu viena vai vairāku personu darbību.

Darbs paver iespēju pilnīgi pasīvi novērtēt ainu, neizmantojot atstarojošās virsmas, Wi-Fi signāli, radars, skaņa vai jebkuri citi “īpaši apstākļi”, kas nepieciešami citos pēdējos gados veiktos pētījumos, kuru mērķis ir konstatēt slēptu cilvēka klātbūtni bīstamā vai kritiskā vidē.

Datu vākšanas scenārija paraugs, kas izmantots jaunajam pētījumam. Objekti ir rūpīgi novietoti tā, lai neradītu ēnas vai tieši neaizsegtu gaismu, un nav atļautas nekādas atstarojošas virsmas vai citi “krāpnieciski” vektori. Avots: https://arxiv.org/pdf/2108.13027.pdf

Faktiski apkārtējā gaisma tipiskajam scenārijam, kas paredzēts lietojumprogrammai, pārvarētu jebkādus nelielus traucējumus, ko izraisa citur ainā paslēptu cilvēku atstarota gaisma. Pētnieki aprēķina, ka indivīdu gaismas traucējumu ieguldījums parasti būtu mazāks par 1% no kopējās redzamās gaismas.

Statiskā apgaismojuma noņemšana

Lai no šķietami statiskā sienas attēla iegūtu kustību, ir jāaprēķina videoklipa vidējais laiks un jānoņem tas no katra kadra. Rezultātā iegūtie kustības modeļi parasti ir zem trokšņu sliekšņa pat labas kvalitātes videoiekārtām, un faktiski liela daļa kustības notiek negatīvā pikseļu telpā.

Lai to novērstu, pētnieki samazina video paraugus par koeficientu 16 un palielina iegūto kadru par koeficientu 50, vienlaikus pievienojot vidēji pelēku bāzes līmeni, lai noteiktu negatīvo pikseļu klātbūtni (ko nevarēja ņemt vērā sākotnējā video. sensora troksnis).

Atšķirība starp cilvēka uztverto sienu un slēpto indivīdu radīto perturbāciju. Tā kā attēla kvalitāte šajā pētījumā ir galvenā problēma, lūdzu, skatiet oficiālo videoklipu raksta beigās, lai iegūtu augstākas kvalitātes attēlu.

Kustību uztveršanas iespēju logs ir ļoti trausls, un to var ietekmēt pat gaismas mirgošana ar 60 Hz maiņstrāvas frekvenci. Tāpēc arī šī dabiskā perturbācija ir jānovērtē un jānoņem no materiāla, pirms parādās cilvēku izraisītas kustības.

Visbeidzot, sistēma rada telpas-laika grafikus, kas signalizē par noteiktu skaitu slēpto telpas iedzīvotāju - diskrētus vizuālos parakstus:

Raksturīgi telpas-laika sižeti, kas attēlo dažādu skaitu paslēptu cilvēku telpā.

Dažādas cilvēka darbības izraisīs arī parakstu traucējumus, kurus var klasificēt un vēlāk atpazīt:

Telpas un laika sižeta paraksti neaktivitātei, staigāšanai, tupēšanai, roku vicināšanai un lēkšanai.

Lai izveidotu automatizētu, uz mašīnmācīšanos balstītu darbplūsmu slēpto personu atpazīšanai, tika izmantoti dažādi kadri no 20 piemērotiem scenārijiem, lai apmācītu divus neironu tīklus, kas darbojas gandrīz līdzīgās konfigurācijās — viens, lai saskaitītu cilvēku skaitu ainā, un otrs identificēt jebkuru kustību.

Testēšana

Pētnieki pārbaudīja apmācīto sistēmu desmit neredzētās reālās pasaules vidēs, kas paredzētas, lai atjaunotu ierobežojumus, kas sagaidāmi pilnīgai izvietošanai. Sistēma spēja sasniegt līdz 94.4% precizitāti (vairāk nekā 256 kadri – parasti nedaudz vairāk par 8 videoklipa sekundēm), klasificējot slēpto personu skaitu, un līdz 93.7% precizitāti (ar tādiem pašiem nosacījumiem) darbību klasificēšanā. Lai gan precizitāte samazinās ar mazāku avota kadru skaitu, tas nav lineārs kritums, un pat 64 kadri sasniegs 79.4% precizitātes koeficientu “cilvēku skaita” novērtējumam (pret gandrīz 95% četras reizes lielākam kadru skaitam).

Lai gan šī metode ir izturīga pret laikapstākļiem balstītām apgaismojuma izmaiņām, tai ir grūtības televizora apgaismotā ainā vai apstākļos, kad cilvēki valkā monotonu apģērbu, kas ir tādā pašā krāsā kā atstarojošā siena.

Plašāku informāciju par pētījumu, tostarp augstākas kvalitātes ieguves kadrus, var redzēt zemāk esošajā oficiālajā videoklipā.