Vanlige antagelser om maskinlæringsfeil kan være feil

Dype neurale nettverk er ett av de mest grunnleggende aspektene av kunstig intelligens (AI), ettersom de brukes til å prosessere bilder og data gjennom matematisk modellering. De er ansvarlige for noen av de største fremgangene i feltet, men de feiler også på ulike måter. Disse feilene kan ha enten en liten eller ingen innvirkning, som en enkel feilidentifikasjon, eller en mer dramatisk og dødelig, som en selvkjørende feil.

Ny forskning fra University of Houston antyder at våre vanlige antagelser om disse feilene kan være feil, noe som kan hjelpe med å evaluere påliteligheten av nettverkene i fremtiden.

Artikkelen ble publisert i Nature Machine Intelligence i november.

“Adversarial Examples”

Maskinlæring og andre typer AI er avgjørende i mange sektorer og oppgaver, som bank og sikkerhetssystemer. Ifølge Cameron Buckner, en associate professor i filosofi ved UH, må det finnes en forståelse av feilene som skyldes “adversarial examples”. Disse adversarial eksemplene oppstår når et dyp nevralt nettverkssystem misdømmer bilder og andre data når det kommer over informasjon utenfor treningsinndataene som ble brukt til å utvikle nettverket.

Adversarial eksemplene er sjeldne, ettersom de ofte blir skapt eller oppdaget av et annet maskinlæringsnettverk.

“Noen av disse adversarial hendelsene kunne i stedet være artefakter, og vi må bedre vite hva de er for å vite hvor pålitelige disse nettverkene er,” skrev Buckner.

Buckner sier at feilen kan skyldes interaksjonen mellom de faktiske mønsterene og hva nettverket setter ut til å prosessere, noe som betyr at det ikke er en fullstendig feil.

Mønster som artefakter

“Å forstå implikasjonene av adversarial eksempler krever å utforske en tredje mulighet: at minst noen av disse mønsterene er artefakter,” sa Buckner. “Derfor er det både kostnader ved å bare kaste bort disse mønsterene og farer ved å bruke dem naivt.”

Selv om det ikke alltid er tilfelle, er avsiktlig skade den største risikoen når det gjelder disse adversarial hendelsene som forårsaker maskinlæringsfeil.

“Det betyr at skadelige aktører kan lure systemer som er avhengige av et ellers pålitelig nettverk,” sa Buckner. “Dette har sikkerhetsapplikasjoner.”

Dette kan være hackere som bryter inn i et sikkerhetssystem basert på ansiktsgjenkjenningsteknologi, eller feilmerkede trafikkskilt for å forvirre selvkjørende kjøretøy.

Tidligere forskning har vist at noen av disse adversarial eksemplene er naturlig forekommende, og skjer når et maskinlæringsystem misfortolker data gjennom en uventet interaksjon, som er forskjellig fra feil i dataene. Disse naturlig forekommende eksemplene er sjeldne, og den eneste måten å oppdage dem på nå er gjennom AI.

Likevel sier Buckner at forskerne må omvurdere måtene de håndterer anomalier på.

Disse anomaliene, eller artefaktene, forklares av Buckner gjennom analogien med en linseflare i et fotografi, som ikke skyldes en feil i kameraobjektivet, men snarere interaksjonen mellom lys og kamera.

Hvis en vet hvordan man skal tolke linseflaren, kan viktig informasjon som solens plassering bli trukket ut. Fordi dette, mener Buckner at det er mulig å trekke like verdifull informasjon fra ugunstige hendelser i maskinlæring som skyldes artefakter.

Buckner sier også at alt dette ikke automatisk betyr at dyp læring ikke er gyldig.

“Noen av disse adversarial hendelsene kunne i stedet være artefakter,” sa han. “Vi må vite hva disse artefaktene er for å vite hvor pålitelige nettverkene er.”