Diversificeret hold af eksperter udvikler forsvarssystem til neurale netværk

Et diversificeret hold af ingeniører, biologer og matematikere fra University of Michigan har udviklet et forsvarssystem til neurale netværk baseret på det adaptive immunsystem. Systemet kan forsvare neurale netværk mod forskellige typer angreb.

Skurkegrupper kan justere input til en dyb læringsalgoritme for at lede den i den forkerte retning, hvilket kan være et stort problem for applikationer som identifikation, maskinvision, naturlig sprogbehandling (NLP), sprogoversættelse, fejdteknik og mere.

Robust Adversarial Immune-Inspired Learning System

Det nyligt konstruerede forsvarssystem kaldes Robust Adversarial Immune-Inspired Learning System. Arbejdet blev offentliggjort i IEEE Access.

Alfred Hero er John H. Holland Distinguished University professor. Han ledte arbejdet sammen med andre.

“RAILS repræsenterer den første tilgang til adversarial learning, der er modelleret efter det adaptive immunsystem, som fungerer anderledes end det innate immunsystem,” sagde Hero.

Holdet fandt ud af, at dybe neurale netværk, der allerede er inspireret af hjernen, også kan efterligne den biologiske proces i pattedyrenes immunsystem. Dette immunsystem genererer nye celler, der er designet til at forsvare sig mod bestemte patogener.

Indika Rajapakse er associate professor i computational medicin og bioinformatik samt co-leader af studiet.

“Immunsystemet er bygget til overraskelser. Det har en fantastisk design og vil altid finde en løsning,” sagde Rajapakse.

At efterligne immunsystemet

RAILS efterligner de naturlige forsvar i immunsystemet, hvilket giver det mulighed for at identificere og håndtere mistænkelige input til neuralt netværk. Det biologiske hold studerede først, hvordan det adaptive immunsystem hos mus respondede på et antigen, før de skabte en model af immunsystemet.

Dataanalyse af oplysningerne blev derefter udført af Stephen Lindsly, der på det tidspunkt var en ph.d.-studerende i bioinformatik. Lindsly hjalp med at oversætte denne information mellem biologerne og ingeniørerne, hvilket gav Hero’s hold mulighed for at modellere den biologiske proces på computer. For at gøre dette kombinerede holdet biologiske mekanismer med koden.

RAILS’ forsvar blev testet med adversarial input.

“Vi var ikke sikre på, om vi havde fanget den biologiske proces, før vi sammenlignede læringskurverne fra RAILS med dem, der blev udtrukket fra eksperimenterne,” sagde Hero. “De var nøjagtig de samme.”

RAILS overgik to af de mest almindelige maskinlæringsprocesser, der i øjeblikket bruges til at bekæmpe adversarial angreb. Disse to processer er Roust Deep k-Nearest Neighbor og convolutional neurale netværk.

Ren Wang er en forskningsstipendiat i elektro- og datateknik. Han var hovedansvarlig for udviklingen og implementeringen af softwaren.

“En meget lovende del af dette arbejde er, at vores generelle ramme kan forsvare sig mod forskellige typer angreb,” sagde Ren Wang.

Forskerne brugte derefter billedidentifikation som en testcase til at evaluere RAILS mod otte typer adversarial angreb i forskellige datasæt. Det viste forbedring i alle tilfælde og beskyttede endda mod Projected Gradient Descent-angrebet, der er den mest skadelige type adversarial angreb. RAILS forbedrede også den samlede nøjagtighed.

“Dette er et fantastisk eksempel på, hvordan man kan bruge matematik til at forstå dette smukke dynamiske system,” sagde Rajapakse. “Vi kan måske tage det, vi har lært fra RAILS, og hjælpe med at omprogrammere immunsystemet til at fungere hurtigere.”