Cercetătorii folosesc inteligența artificială pentru a investiga modul în care reflecțiile diferă de imaginile originale

Cercetătorii de la Universitatea Cornell au folosit recent sisteme de învățare automată pentru a investiga modul în care reflecțiile imaginilor sunt diferite de imaginile originale. După cum a raportat ScienceDaily, algoritmii creați de echipa de cercetători au descoperit că existau semne revelatoare, diferențe față de imaginea originală, că o imagine a fost răsturnată sau reflectată.

Profesor asociat de informatică la Cornell Tech, Noah Snavely, a fost autorul principal al studiului. Potrivit lui Snavely, proiectul de cercetare a început când cercetătorii au devenit intrigați de modul în care imaginile erau diferite atât în ​​moduri evidente, cât și subtile atunci când erau reflectate. Snavely a explicat că chiar și lucrurile care par foarte simetrice la prima vedere pot fi de obicei distinse ca o reflecție atunci când sunt studiate. Sunt intrigat de descoperirile pe care le puteți face cu noi moduri de a culege informații”, a spus Snavely, potrivit ScienceDaily.

Cercetătorii s-au concentrat pe imaginile oamenilor, folosindu-le pentru a-și antrena algoritmii. Acest lucru a fost făcut pentru că fețele nu par în mod evident asimetrice. Când a fost instruit pe date care diferențiază imaginile inversate de imaginile originale, AI a obținut o precizie între 60% și 90% pentru diferite tipuri de imagini.

Multe dintre semnele distinctive vizuale ale unei imagini inversate pe care AI le-a învățat sunt destul de subtile și dificil de perceput de oameni atunci când se uită la imaginile răsturnate. Pentru a interpreta mai bine caracteristicile pe care AI le folosea pentru a distinge între imaginile inversate și cele originale, cercetătorii au creat o hartă termică. Harta termică a arătat regiuni ale imaginii pe care AI tinde să se concentreze. Potrivit cercetătorilor, unul dintre cele mai comune indicii pe care AI le-a folosit pentru a distinge imaginile inversate a fost textul. Acest lucru nu a fost surprinzător, iar cercetătorii au eliminat imaginile care conțineau text din datele lor de antrenament pentru a-și face o idee mai bună despre diferențele mai subtile dintre imaginile inversate și cele originale.

După ce imaginile care conțineau text au fost eliminate din setul de antrenament, cercetătorii au descoperit că clasificatorul AI s-a concentrat pe caracteristici ale imaginilor, cum ar fi apelanții de cămăși, telefoanele mobile, ceasurile de mână și fețele. Unele dintre aceste caracteristici au modele evidente, de încredere, pe care AI le poate perfecționa, cum ar fi faptul că oamenii poartă adesea telefoanele mobile în mâna dreaptă și că nasturii de pe gulerele cămășilor sunt adesea pe stânga. Cu toate acestea, trăsăturile faciale sunt de obicei foarte simetrice, diferențele fiind mici și foarte greu de detectat de către un observator uman.

Cercetătorii au creat o altă hartă termică care a evidențiat zonele fețelor pe care AI tindea să se concentreze. Inteligența artificială folosea adesea ochii, părul și bărbilele oamenilor pentru a detecta imagini inversate. Din motive neclare, oamenii privesc adesea ușor spre stânga atunci când li se fac fotografii. În ceea ce privește de ce părul și bărbile sunt indicatori ai imaginilor răsturnate, cercetătorii nu sunt siguri, dar ei teoretizează că mâna unei persoane ar putea fi dezvăluită prin felul în care se rade sau se pieptănează. Deși acești indicatori pot fi nesiguri, prin combinarea mai multor indicatori, cercetătorii pot obține o mai mare încredere și acuratețe.

Va trebui efectuată mai multe cercetări în acest sens, dar dacă rezultatele sunt consistente și de încredere, atunci ar putea ajuta cercetătorii să găsească modalități mai eficiente de antrenare a algoritmilor de învățare automată. Inteligența artificială a vederii computerizate este adesea antrenată folosind reflexiile imaginilor, deoarece este o modalitate eficientă și rapidă de a crește cantitatea de date de antrenament disponibile. Este posibil ca analizarea modului în care imaginile reflectate sunt diferite ar putea ajuta cercetătorii de învățare automată să înțeleagă mai bine distorsiunile prezente în modelele de învățare automată care i-ar putea determina să clasifice incorect imaginile.

Așa cum era Snavely citat de ScienceDaily:

„Acest lucru duce la o întrebare deschisă pentru comunitatea de viziune computerizată, și anume, când este bine să faceți această schimbare pentru a vă mări setul de date și când nu este în regulă? Sper că acest lucru îi va face pe oameni să se gândească mai mult la aceste întrebări și să înceapă să dezvolte instrumente pentru a înțelege cum influențează algoritmul.”