I ricercatori utilizzano l’IA per indagare come le riflessioni differiscono dalle immagini originali

I ricercatori dell’Università di Cornell hanno recentemente utilizzato sistemi di apprendimento automatico per indagare come le riflessioni delle immagini differiscono dalle immagini originali. Come riportato da ScienceDaily, gli algoritmi creati dal team di ricercatori hanno scoperto che esistevano segni rivelatori, differenze dall’immagine originale, che indicavano che un’immagine era stata capovolta o riflessa.

Il professore associato di scienze informatiche alla Cornell Tech, Noah Snavely, è stato l’autore principale dello studio. Secondo Snavely, il progetto di ricerca è iniziato quando i ricercatori sono stati intrigati da come le immagini differivano in modi ovvi e sottili quando venivano riflesse. Snavely ha spiegato che anche le cose che appaiono molto simmetriche a prima vista possono di solito essere distinte come una riflessione quando studiate. “Sono intrigato dalle scoperte che si possono fare con nuovi modi di raccogliere informazioni”, ha detto Snavely, secondo ScienceDaily.

I ricercatori si sono concentrati su immagini di persone, utilizzandole per addestrare i loro algoritmi. Ciò è stato fatto perché i volti non sembrano ovviamente asimmetrici. Quando addestrati su dati che distinguevano immagini capovolte da immagini originali, l’IA ha raggiunto un’accuratezza del 60% al 90% su vari tipi di immagini.

Molti dei segni visivi di un’immagine capovolta che l’IA ha imparato sono molto sottili e difficili da discernere per gli esseri umani quando guardano le immagini capovolte. Al fine di interpretare meglio le caratteristiche che l’IA stava utilizzando per distinguere tra immagini capovolte e originali, i ricercatori hanno creato una mappa di calore. La mappa di calore ha mostrato le regioni dell’immagine su cui l’IA tendeva a concentrarsi. Secondo i ricercatori, uno dei segni più comuni che l’IA utilizzava per distinguere le immagini capovolte era il testo. Ciò non era sorprendente, e i ricercatori hanno rimosso le immagini che contenevano testo dal loro set di addestramento per ottenere una migliore idea delle differenze più sottili tra immagini capovolte e originali.

Dopo che le immagini che contenevano testo sono state rimosse dal set di addestramento, i ricercatori hanno scoperto che il classificatore IA si concentrava su caratteristiche delle immagini come i colletti delle camicie, i telefoni cellulari, gli orologi da polso e i volti. Alcune di queste caratteristiche hanno modelli ovvi e affidabili che l’IA può concentrarsi su, come il fatto che le persone spesso portano i telefoni cellulari nella mano destra e che i bottoni dei colletti delle camicie sono spesso a sinistra. Tuttavia, le caratteristiche del viso sono tipicamente molto simmetriche con differenze piccole e molto difficili da rilevare per un osservatore umano.

I ricercatori hanno creato un’altra mappa di calore che ha evidenziato le aree dei volti su cui l’IA tendeva a concentrarsi. L’IA spesso utilizzava gli occhi, i capelli e le barbe delle persone per rilevare le immagini capovolte. Per motivi che non sono chiari, le persone spesso guardano leggermente a sinistra quando vengono scattate foto. Per quanto riguarda il motivo per cui i capelli e le barbe sono indicatori di immagini capovolte, i ricercatori non sono sicuri, ma teorizzano che la manualità di una persona potrebbe essere rivelata dal modo in cui si rade o si pettina. Sebbene questi indicatori possano essere poco affidabili, combinando più indicatori insieme i ricercatori possono ottenere una maggiore fiducia e accuratezza.

Ulteriori ricerche dovranno essere condotte lungo queste linee, ma se i risultati sono coerenti e affidabili, potrebbero aiutare i ricercatori a trovare modi più efficienti per addestrare gli algoritmi di apprendimento automatico. L’IA della visione artificiale viene spesso addestrata utilizzando riflessioni di immagini, poiché è un modo efficace e veloce per aumentare la quantità di dati di addestramento disponibili. È possibile che analizzare come le immagini riflesse differiscono possa aiutare i ricercatori di apprendimento automatico a comprendere meglio i pregiudizi presenti nei modelli di apprendimento automatico che potrebbero causare una classificazione inaccurata delle immagini.

Come Snavely è stato citato da ScienceDaily:

“Ciò porta a una domanda aperta per la comunità della visione artificiale, che è, quando è okay fare questo capovolgimento per aumentare il proprio set di dati, e quando non è okay? Spero che questo farà riflettere le persone su queste domande e inizierà a sviluppare strumenti per comprendere come sta influenzando l’algoritmo.”