Diverse Team van Experts Ontwikkelt Verdedigingssysteem voor Neurale Netwerken

Een diverse groep ingenieurs, biologen en wiskundigen aan de University of Michigan heeft een verdedigingssysteem voor neurale netwerken ontwikkeld op basis van het adaptieve immuunsysteem. Het systeem kan neurale netwerken verdedigen tegen verschillende soorten aanvallen.

Boosaardige groepen kunnen de invoer van een diep lerend algoritme aanpassen om het de verkeerde kant op te sturen, wat een groot probleem kan vormen voor toepassingen zoals identificatie, machinevisie, natuurlijke taalverwerking (NLP), taalvertaling, ruzie detectie en meer.

Robuust Adversarial Immune-Inspired Learning System

Het nieuw opgerichte verdedigingssysteem heet het Robuust Adversarial Immune-Inspired Learning System. Het onderzoek werd gepubliceerd in IEEE Access.

Alfred Hero is de John H. Holland Distinguished University professor. Hij leidde het onderzoek.

“RAILS vertegenwoordigt de allereerste benadering van adversarial learning die is gemodelleerd naar het adaptieve immuunsysteem, dat anders werkt dan het aangeboren immuunsysteem,” zei Hero.

Het team ontdekte dat diepe neurale netwerken, die al zijn geïnspireerd op de hersenen, ook de biologische processen van het mammale immuunsysteem kunnen nabootsen. Dit immuunsysteem genereert nieuwe cellen die zijn ontworpen om zich te verdedigen tegen specifieke pathogenen.

Indika Rajapakse is associate professor of computationele geneeskunde en bio-informatica, evenals co-leider van de studie.

“Het immuunsysteem is gebouwd voor verrassingen. Het heeft een geweldig ontwerp en zal altijd een oplossing vinden,” zei Rajapakse.

Nabootsing van het Immuunsysteem

RAILS bootst de natuurlijke verdediging van het immuunsysteem na, waardoor het verdachte invoer naar het neurale netwerk kan identificeren en aanpakken. Het biologische team bestudeerde eerst hoe de adaptieve immuunsysteem van muizen reageerde op een antigeen voordat ze een model van het immuunsysteem maakten.

Data-analyse van de informatie werd vervolgens uitgevoerd door Stephen Lindsly, die op dat moment een doctoraal student in bio-informatica was. Lindsly hielp de informatie te vertalen tussen de biologen en ingenieurs, waardoor Hero’s team het biologische proces op computers kon modelleren. Daartoe combineerde het team biologische mechanismen met de code.

De verdediging van RAILS werd getest met adversarial invoer.

“We wisten niet zeker of we het biologische proces echt hadden vastgelegd totdat we de leercurves van RAILS vergeleken met die uit de experimenten,” zei Hero. “Ze waren exact hetzelfde.”

RAILS presteerde beter dan twee van de meest voorkomende machine learning-processen die momenteel worden gebruikt om adversarial aanvallen te bestrijden. Deze twee processen zijn Roust Deep k-Nearest Neighbor en convolutionele neurale netwerken.

Ren Wang is een onderzoeksmedewerker in elektrotechniek en informatica. Hij was grotendeels verantwoordelijk voor de ontwikkeling en implementatie van de software.

“Een zeer veelbelovend deel van dit werk is dat ons algemene kader verschillende soorten aanvallen kan verdedigen,” zei Ren Wang.

De onderzoekers gebruikten vervolgens beeldidentificatie als testgeval om RAILS te evalueren tegen acht soorten adversarial aanvallen in verschillende datasets. Het toonde verbetering in alle gevallen, en het beschermt zelfs tegen de Projected Gradient Descent-aanval, die de meest schadelijke soort adversarial aanval is. RAILS verbeterde ook de algehele nauwkeurigheid.

“Dit is een geweldig voorbeeld van het gebruik van wiskunde om dit prachtige dynamische systeem te begrijpen,” zei Rajapakse. “We kunnen mogelijk leren van RAILS en helpen het immuunsysteem sneller te programmeren.”