Onderzoek toont aan dat AI-modellen geen menselijke visuele verwerking evenaren

Een nieuwe studie van de York University toont aan dat diepe convolutionele neurale netwerken (DCNN’s) geen menselijke visuele verwerking evenaren door gebruik te maken van configurale vormperceptie. Volgens professor James Elder, co-auteur van de studie, kan dit ernstige en gevaarlijke gevolgen hebben voor AI-toepassingen in de praktijk.

De nieuwe studie met de titel “Diepe leermodellen falen om de configuraal aard van menselijke vormperceptie te vangen” werd gepubliceerd in het tijdschrift Cell Press iScience.

Het was een gezamenlijke studie van Elder, die de York Research Chair in Human and Computer Vision bekleedt, evenals de co-director van het Center for AI & Society van York, en professor Nicholas Baker, die assistent-professor in de psychologie is en voormalig VISTA-postdoctoraal onderzoeker aan York.

Nieuwe visuele stimuli “Frankensteins”

Het team vertrouwde op nieuwe visuele stimuli, aangeduid als “Frankensteins”, die hen hielpen om te onderzoeken hoe zowel de menselijke hersenen als DCNN’s holistische, configuraal objecteigenschappen verwerken.

“Frankensteins zijn eenvoudigweg objecten die zijn uit elkaar gehaald en weer in elkaar gezet op de verkeerde manier,” zegt Elder. “Als gevolg daarvan hebben ze alle juiste lokale kenmerken, maar op de verkeerde plaatsen.”

De studie toonde aan dat DCNN’s niet in de war raken van “Frankensteins” zoals het menselijke visuele systeem dat wel doet. Dit onthult een gevoeligheid voor configuraal objecteigenschappen.

“Onze resultaten verklaren waarom diepe AI-modellen falen onder bepaalde omstandigheden en wijzen op de noodzaak om taken te overwegen die verder gaan dan objectherkenning om visuele verwerking in de hersenen te begrijpen,” gaat Elder verder. “Deze diepe modellen nemen ‘snelwegen’ als ze complexe herkenningstaken oplossen. Hoewel deze snelwegen in veel gevallen werken, kunnen ze gevaarlijk zijn in sommige van de huidige AI-toepassingen die we samen met onze industrie- en overheidspartners ontwikkelen.”

Afbeelding: York University

Praktische gevolgen

Elder zegt dat een van deze toepassingen verkeersvideoveiligheidssystemen zijn.

“De objecten in een drukke verkeersscène – de voertuigen, fietsen en voetgangers – blokkeren elkaar en komen als een warboel van losse fragmenten bij het oog van een bestuurder terecht,” zegt hij. “De hersenen moeten deze fragmenten correct groeperen om de juiste categorieën en locaties van de objecten te identificeren. Een AI-systeem voor verkeersveiligheidsbewaking dat alleen in staat is om de fragmenten individueel waar te nemen, zal falen in deze taak, waardoor het potentieel de risico’s voor kwetsbare weggebruikers verkeerd begrijpt.”

De onderzoekers zeggen ook dat aanpassingen aan de training en architectuur die zijn gericht op het maken van netwerken die meer op de hersenen lijken, geen configuraal verwerken bereikten. Geen van de netwerken kon menselijke objectbeoordelingen per proef nauwkeurig voorspellen.

“We speculeren dat om menselijke configuraal gevoeligheid te evenaren, netwerken moeten worden getraind om een bredere reeks objecttaken te verwerken die verder gaan dan categorisering,” concludeert Elder