Ricercatori utilizzano l’AI per indagare come le riflessioni differiscono dalle immagini originali

I ricercatori della Cornell University hanno recentemente utilizzato sistemi di apprendimento automatico per indagare come le riflessioni delle immagini sono diverse dalle immagini originali. Come riportato da ScienceDaily, gli algoritmi creati dal team di ricercatori hanno trovato che c’erano segni rivelatori, differenze dall’immagine originale, che un’immagine era stata capovolta o riflessa.

Il professore associato di scienze informatiche alla Cornell Tech, Noah Snavely, è stato l’autore senior dello studio. Secondo Snavely, il progetto di ricerca è iniziato quando i ricercatori sono stati intrigati da come le immagini erano diverse in modi sia ovvi che sottili quando erano riflessi. Snavely ha spiegato che anche le cose che appaiono molto simmetriche a prima vista possono di solito essere distinte come una riflessione quando studiate. “Sono intrigato dalle scoperte che si possono fare con nuovi modi di raccogliere informazioni”, ha detto Snavely, secondo ScienceDaily.

I ricercatori si sono concentrati su immagini di persone, utilizzandole per addestrare i loro algoritmi. Ciò è stato fatto perché i volti non sembrano asimmetrici in modo ovvio. Quando addestrati su dati che distinguevano immagini capovolte da immagini originali, l’AI ha raggiunto un’accuratezza del 60% al 90% su vari tipi di immagini.

Molti dei segni visivi di un’immagine capovolta che l’AI ha imparato sono molto sottili e difficili da discernere per gli esseri umani quando guardano le immagini capovolte. Al fine di interpretare meglio le caratteristiche che l’AI stava utilizzando per distinguere tra immagini capovolte e originali, i ricercatori hanno creato una mappa di calore. La mappa di calore ha mostrato le regioni dell’immagine su cui l’AI tendeva a concentrarsi. Secondo i ricercatori, uno dei segni più comuni che l’AI ha utilizzato per distinguere le immagini capovolte è il testo. Ciò non era sorprendente e i ricercatori hanno rimosso le immagini che contengono testo dal loro set di addestramento per avere un’idea più chiara delle differenze più sottili tra immagini capovolte e originali.

Dopo che le immagini che contengono testo sono state rimosse dal set di addestramento, i ricercatori hanno scoperto che il classificatore AI si è concentrato su caratteristiche delle immagini come i colletti delle camicie, i telefoni cellulari, gli orologi da polso e i volti. Alcune di queste caratteristiche hanno modelli ovvi e affidabili su cui l’AI può concentrarsi, come il fatto che le persone spesso portano i telefoni cellulari nella mano destra e che i bottoni dei colletti delle camicie sono spesso a sinistra. Tuttavia, le caratteristiche facciali sono tipicamente altamente simmetriche con differenze piccole e molto difficili da rilevare per un osservatore umano.

I ricercatori hanno creato un’altra mappa di calore che ha evidenziato le aree dei volti su cui l’AI tendeva a concentrarsi. L’AI ha spesso utilizzato gli occhi, i capelli e le barbe delle persone per rilevare le immagini capovolte. Per motivi che non sono chiari, le persone spesso guardano leggermente a sinistra quando vengono scattate foto. Per quanto riguarda il motivo per cui i capelli e le barbe sono indicatori di immagini capovolte, i ricercatori non sono sicuri, ma teorizzano che la manualità di una persona potrebbe essere rivelata dal modo in cui si rade o si pettina. Sebbene questi indicatori possano essere inaffidabili, combinando più indicatori insieme i ricercatori possono raggiungere una maggiore fiducia e accuratezza.

Ulteriori ricerche in questa direzione dovranno essere condotte, ma se i risultati sono coerenti e affidabili, potrebbero aiutare i ricercatori a trovare modi più efficienti per addestrare gli algoritmi di apprendimento automatico. L’AI della visione artificiale viene spesso addestrata utilizzando riflessi di immagini, poiché è un modo efficace e veloce per aumentare la quantità di dati di addestramento disponibili. È possibile che analizzare come le immagini riflesse siano diverse possa aiutare i ricercatori di apprendimento automatico a comprendere meglio i pregiudizi presenti nei modelli di apprendimento automatico che potrebbero causare errori di classificazione delle immagini.

Come Snavely è stato citato da ScienceDaily:

“Questo porta a una domanda aperta per la comunità della visione artificiale, che è, quando è okay fare questo capovolgimento per aumentare il proprio set di dati, e quando non è okay? Spero che questo farà riflettere le persone su queste domande e inizierà a sviluppare strumenti per comprendere come sta influenzando l’algoritmo.”