Mangfoldig ekspertteam utvikler forsvarssystem for neurale nettverk

Et mangfoldig team av ingeniører, biologer og matematikere ved University of Michigan har utviklet et forsvarssystem for neurale nettverk basert på det adaptive immunsystemet. Systemet kan forsvare neurale nettverk mot forskjellige typer angrep.

Skurkegrupper kan justere innputt til en dyp læring-algoritme for å lede den på feil vei, noe som kan være et stort problem for applikasjoner som identifikasjon, maskinvisjon, naturlig språkbehandling (NLP), språkoversettelse, fektning og mer.

Robust Adversarial Immune-Inspired Learning System

Det nykonstruerte forsvarssystemet kalles Robust Adversarial Immune-Inspired Learning System. Arbeidet ble publisert i IEEE Access.

Alfred Hero er John H. Holland Distinguished University professor. Han ledet arbeidet sammen med andre.

“RAILS representerer den aller første tilnærmingen til adversarial læring som er modellert etter det adaptive immunsystemet, som opererer forskjellig fra det innate immunsystemet,” sa Hero.

Teamet fant ut at dype neurale nettverk, som allerede er inspirert av hjernen, også kan mime biologiske prosesser i pattedyrenes immunsystem. Dette immunsystemet genererer nye celler som er designet for å forsvare mot bestemte patogener.

Indika Rajapakse er associate professor of computational medicine and bioinformatics, samt co-leader of studien.

“Immunsystemet er bygget for overraskelser. Det har en fantastisk design og vil alltid finne en løsning,” sa Rajapakse.

Mimicking the Immune System

RAILS mime naturlige forsvarsmekanismer i immunsystemet, som gjør det mulig å identifisere og håndtere mistenkelige innputt til neurale nettverk. Det biologiske teamet studerte først hvordan de adaptive immunsystemene hos mus responderte på et antigen før de lagde en modell av immunsystemet.

Dataanalyse av informasjonen ble deretter utført av Stephen Lindsly, som var en doktorgradsstudent i bioinformatikk på den tiden. Lindsly hjalp med å oversette denne informasjonen mellom biologer og ingeniører, noe som gjorde det mulig for Hero’s team å modellere den biologiske prosessen på datamaskiner. For å gjøre dette, blandet teamet biologiske mekanismer inn i koden.

RAILS-forsvaret ble testet med adversarial innputt.

“Vi visste ikke om vi hadde fanget den biologiske prosessen helt riktig før vi sammenlignet læringkurvene til RAILS med de som ble trukket ut fra eksperimentene,” sa Hero. “De var helt like.”

RAILS overgikk to av de mest vanlige maskinlæringsprosessene som for tiden brukes til å bekjempe adversarial angrep. Disse to prosessene er Roust Deep k-Nearest Neighbor og konvolusjonelle neurale nettverk.

Ren Wang er en forskningsstipendiat i elektro- og datateknikk. Han var hovedsakelig ansvarlig for utvikling og implementering av programvaren.

“En svært løftende del av dette arbeidet er at vår generelle ramme kan forsvare mot forskjellige typer angrep,” sa Ren Wang.

Forskerne brukte deretter bildeidentifikasjon som en testfall for å evaluere RAILS mot åtte typer adversarial angrep i forskjellige datasett. Det viste forbedring i alle tilfeller, og det beskyttet også mot Projected Gradient Descent-angrep, som er den mest skadelige typen adversarial angrep. RAILS forbedret også den generelle nøyaktigheten.

“Dette er et fantastisk eksempel på å bruke matematikk til å forstå dette vakre dynamiske systemet,” sa Rajapakse. “Vi kan kanskje ta det vi lærte fra RAILS og hjelpe med å omprogrammere immunsystemet til å fungere raskere.”