Cercetătorii dezvoltă tehnici noi pentru îmbunătățirea imaginilor degradate

O echipă de cercetători de la Yale-NUS College a dezvoltat abordări noi de viziune computerizată și învățare profundă pentru a extrage date mai precise din viziunea de nivel scăzut în videoclipuri cauzate de factori de mediu, cum ar fi ploaia și condițiile de noapte. Ei au îmbunătățit, de asemenea, acuratețea estimării poziției umane 3D în videoclipuri.

Tehnologia de viziune computerizată, care este utilizată în aplicații precum sistemele de supraveghere automată, vehiculele autonome și uneltele de sănătate și distanțare socială, este adesea afectată de factorii de mediu, care pot cauza probleme cu datele extrase.

Cercetarea nouă a fost prezentată la Conferința din 2021 privind recunoașterea și interpretarea viziunii (CVPR).

Impactul mediului asupra imaginilor

Condiții precum lumina slabă și efectele de lumină create de om, cum ar fi strălucirea, lumina și reflectoarele, afectează imaginile de noapte. Imaginile cu ploaie sunt, de asemenea, afectate de urme de ploaie sau de acumularea de ploaie.

Profesorul asociat Robby Tan de la Yale-NUS College a condus echipa de cercetare.

“Multe sisteme de viziune computerizată, cum ar fi supravegherea automată și vehiculele autonome, se bazează pe o vizibilitate clară a videoclipurilor de intrare pentru a funcționa bine. De exemplu, vehiculele autonome nu pot funcționa robust în ploaia puternică, iar sistemele de supraveghere automată CCTV adesea eşuează noaptea, în special dacă scenele sunt întunecate sau există o strălucire semnificativă sau reflectoare”, a spus prof. Tan.

Echipa s-a bazat pe două studii separate care au introdus algoritmi de învățare profundă pentru a îmbunătăți calitatea videoclipurilor de noapte și a videoclipurilor cu ploaie.

Primul studiu s-a concentrat pe creșterea luminozității, în timp ce a suprimat zgomotul și efectele de lumină, cum ar fi strălucirea, lumina și reflectoarele, pentru a crea imagini clare de noapte. Noua tehnică are ca scop îmbunătățirea clarității în imaginile și videoclipurile de noapte, atunci când există o strălucire inevitabilă, ceea ce metodele existente nu au reușit să facă.

În țările în care ploaia puternică este frecventă, acumularea de ploaie afectează negativ vizibilitatea în videoclipuri. Al doilea studiu a încercat să abordeze această problemă prin introducerea unei metode care utilizează o aliniere a cadrelor, ceea ce permite o informație vizuală mai bună, fără a fi afectată de urmele de ploaie, care apar adesea aleatoriu în diferite cadre. Echipa a utilizat o cameră mobilă pentru a efectua o estimare a adâncimii, ceea ce a ajutat la eliminarea efectului de voal de ploaie. În timp ce metodele existente se concentrează pe eliminarea urmelor de ploaie, noile metode dezvoltate pot elimina atât urmele de ploaie, cât și efectul de voal de ploaie, în același timp.

Imagine: Yale-NUS College

Estimarea poziției umane 3D

Împreună cu noile tehnici, echipa a prezentat, de asemenea, cercetarea sa privind estimarea poziției umane 3D, care poate fi utilizată în supravegherea video, jocurile video și transmisiunile sportive.

Estimarea poziției umane 3D multiple dintr-un videoclip monocular, sau un videoclip filmat cu o singură cameră, a fost din ce în ce mai mult cercetată în ultimii ani. În contrast cu videoclipurile filmate cu multiple camere, videoclipurile monoculari sunt mai flexibile și pot fi filmate cu o singură cameră, cum ar fi un telefon mobil.

Cu toate acestea, activități intense, cum ar fi mai multe persoane în aceeași scenă, afectează acuratețea detectării umane. Acest lucru este valabil, în special, atunci când persoanele interacționează strâns sau se suprapun una peste alta în videoclipul monocular.

Studiul echipei a estimat poziția umană 3D dintr-un videoclip, combinând două metode existente, care erau abordări de sus în jos și de jos în sus. Noua metodă produce o estimare a poziției mai fiabilă în medii cu mai multe persoane, comparativ cu celelalte două metode, și este mai bine echipată pentru a face față distanței dintre indivizi.

“Ca următorul pas în cercetarea noastră privind estimarea poziției umane 3D, care este susținută de Fundația Națională pentru Cercetare, vom examina modul de a proteja informațiile de confidențialitate ale videoclipurilor. Pentru metodele de îmbunătățire a vizibilității, ne străduim să contribuim la progresele în domeniul viziunii computerizate, deoarece acestea sunt esențiale pentru multe aplicații care pot afecta viața noastră de zi cu zi, cum ar fi permis vehiculelor autonome să funcționeze mai bine în condiții meteorologice nefavorabile”, a spus prof. Tan.