Cercetătorii utilizează IA pentru a investiga modul în care reflexiile diferă de imaginile originale

Cercetătorii de la Universitatea Cornell au utilizat recent sisteme de învățare automată pentru a investiga modul în care reflexiile imaginilor sunt diferite de imaginile originale. Conform raportului publicat de ScienceDaily, algoritmii creați de echipa de cercetători au descoperit că există semne distinctive, diferențe față de imaginea originală, care indică faptul că o imagine a fost răsturnată sau reflectată.

Profesorul asociat de științe computaționale la Cornell Tech, Noah Snavely, a fost autorul principal al studiului. Conform lui Snavely, proiectul de cercetare a început atunci când cercetătorii au devenit interesați de modul în care imaginile sunt diferite în moduri atât evidente, cât și subtile, atunci când sunt reflectate. Snavely a explicat că chiar și lucrurile care par foarte simetrice la prima vedere pot fi de obicei distinse ca o reflexie atunci când sunt studiate. “Sunt intrigat de descoperirile pe care le poți face cu noi moduri de a obține informații”, a spus Snavely, conform ScienceDaily.

Cercetătorii s-au concentrat pe imagini cu oameni, utilizându-le pentru a antrena algoritmii lor. Acest lucru a fost făcut deoarece fețele nu par evident asimetrice. Atunci când au fost antrenați pe date care distingeau imaginile răsturnate de cele originale, IA a obținut o acuratețe de 60% până la 90% pentru diverse tipuri de imagini.

Multe dintre caracteristicile vizuale ale unei imagini răsturnate pe care IA le-a învățat sunt foarte subtile și greu de detectat pentru oameni atunci când privesc imaginile răsturnate. Pentru a interpreta mai bine caracteristicile pe care IA le utiliza pentru a distinge între imagini răsturnate și originale, cercetătorii au creat o hartă de căldură. Harta de căldură a arătat regiunile imaginii pe care IA se concentra. Conform cercetătorilor, una dintre cele mai comune indicii pe care IA le-a utilizat pentru a distinge imaginile răsturnate a fost textul. Acest lucru nu a fost surprinzător, iar cercetătorii au eliminat imaginile care conțineau text din setul de antrenament pentru a obține o idee mai bună despre diferențele mai subtile între imaginile răsturnate și cele originale.

După ce imaginile care conțineau text au fost eliminate din setul de antrenament, cercetătorii au descoperit că clasificatorul IA s-a concentrat pe caracteristici ale imaginilor, cum ar fi nasturii de la cămăși, telefoanele mobile, ceasurile de mână și fețele. Unele dintre aceste caracteristici au modele clare și fiabile pe care IA le poate detecta, cum ar fi faptul că oamenii poartă de obicei telefoanele mobile în mâna dreaptă și că nasturii de la cămăși sunt de obicei pe partea stângă. Cu toate acestea, caracteristicile feței sunt de obicei foarte simetrice, cu diferențe mici și greu de detectat pentru un observator uman.

Cercetătorii au creat o altă hartă de căldură care a evidențiat zonele feței pe care IA se concentra. IA a utilizat adesea ochii, părul și barba oamenilor pentru a detecta imaginile răsturnate. Din motive necunoscute, oamenii se uită adesea ușor spre stânga atunci când li se fac fotografii. În ceea ce privește de ce părul și barba sunt indicatori ai imaginilor răsturnate, cercetătorii nu sunt siguri, dar teoretizează că mâna dominantă a unei persoane poate fi revelată de modul în care se rad sau se pieptănă. Deși acești indicatori pot fi nefiabili, prin combinarea mai multor indicatori, cercetătorii pot obține o încredere și o acuratețe mai mare.

Mai multe cercetări în această direcție vor trebui să fie efectuate, dar dacă rezultatele sunt consistente și fiabile, atunci ar putea ajuta cercetătorii să găsească modalități mai eficiente de a antrena algoritmii de învățare automată. IA de vedere computerizată este adesea antrenată utilizând reflexii ale imaginilor, deoarece este o modalitate eficientă și rapidă de a crește cantitatea de date de antrenament disponibile. Este posibil ca analiza modului în care imaginile reflectate sunt diferite să ajute cercetătorii de învățare automată să obțină o înțelegere mai bună a prejudecăților prezente în modelele de învățare automată care ar putea determina clasificarea incorectă a imaginilor.

Conform lui Snavely, așa cum a fost citat de ScienceDaily:

“Acest lucru duce la o întrebare deschisă pentru comunitatea de vedere computerizată, care este, când este ok să faci acest răsturnare pentru a-ți extinde setul de date, și când nu este ok? Sper că acest lucru va face oamenii să se gândească mai mult la aceste întrebări și să înceapă să dezvolte instrumente pentru a înțelege cum este influențat algoritmul.”