Studie viser at AI-modeller ikke matcher menneskelig visuell prosessering

En ny studie fra York University viser at dypt konvolusjonelle neurale nettverk (DCNN) ikke matcher menneskelig visuell prosessering ved å bruke konfigurasjonsform persepsjon. Ifølge professor James Elder, medforfatter av studien, kan dette ha alvorlige og farlige virkelige konsekvenser for AI-applikasjoner.

Den nye studien med tittelen “Dyp læring modeller feiler i å fange konfigurasjonsnaturen til menneskelig form persepsjon” ble publisert i Cell Press-tidsskriftet iScience.

Det var en samarbeidsstudie mellom Elder, som innehar York Research Chair i Human og Computer Vision, samt Co-Director-stillingen i Yorks Center for AI & Society, og professor Nicholas Baker, som er en assistent psykologi-professor og tidligere VISTA-postdoktor ved York.

Nye visuelle stimuli “Frankensteins”

Teamet ble avhengig av nye visuelle stimuli kalt “Frankensteins”, som hjalp dem med å utforske hvordan både det menneskelige hjernen og DCNN prosesserer holistiske, konfigurasjonsobjekt egenskaper.

“Frankensteins er bare objekter som er tatt fra hverandre og satt sammen igjen på feil måte,” sier Elder. “Som et resultat har de alle riktige lokale egenskaper, men på feil plasser.”

Studien fant at DCNN ikke er forvirret av Frankensteins like menneskelig visuell system er. Dette avslører en insensitivitet til konfigurasjonsobjekt egenskaper.

“Våre resultater forklarer hvorfor dypt AI-modeller feiler under visse forhold og peker på behovet for å vurdere oppgaver beyond objekt gjenkjennelse for å forstå visuell prosessering i hjernen,” fortsetter Elder. “Disse dype modellene tar ‘gjennomskår’ når de løser komplekse gjenkjenningsoppgaver. Mens disse gjennomskårene kan fungere i mange tilfeller, kan de være farlige i noen av de virkelige AI-applikasjonene vi nå arbeider med våre industri- og regjeringspartnere.”

Bilde: York University

Virkelige konsekvenser

Elder sier at en av disse applikasjonene er trafikksikkerhetssystemer.

“Objektene i en travelt trafikkscene — kjøretøy, sykler og fotgjengere — blokkerer hverandre og kommer inn i øyet på en sjåfør som en samling av løsrevne fragmenter,” sier han. “Hjernen trenger å gruppere disse fragmentene korrekt for å identifisere riktige kategorier og plasseringer av objektene. Et AI-system for trafikksikkerhet som bare kan se fragmentene individuelt vil feile i denne oppgaven, potensielt misforstående risikoen for sårbare vegbrukere.”

Forskerne sier også at modifikasjoner i trening og arkitektur rettet mot å gjøre nettverk mer hjernelignende ikke oppnådde konfigurasjonsprosessering. Ingen av nettverkene kunne nøyaktig forutsi prøve-for-prøve menneskelig objektbedømmelse.

“Vi spekulerer på at for å matche menneskelig konfigurasjonsfølsomhet, må nettverkene trenes for å løse en bredere rekke objekt oppgaver beyond kategorigjenkjennelse,” konkluderer Elder