Divers team van experts ontwikkelt verdedigingssysteem voor neurale netwerken

Een divers team van ingenieurs, biologen en wiskundigen aan de Universiteit van Michigan heeft een verdedigingssysteem voor neurale netwerken ontwikkeld op basis van het adaptieve immuunsysteem. Het systeem kan neurale netwerken verdedigen tegen verschillende soorten aanvallen.

Boosaardige groepen kunnen de invoer van een diep leer algoritme aanpassen om het de verkeerde kant op te sturen, wat een groot probleem kan zijn voor toepassingen zoals identificatie, machinevisie, natuurlijke taalverwerking (NLP), taalvertaling, ruzie detectie en meer.

Robuust Adversarial Immune-geïnspireerd Leer Systeem

Het nieuw gebouwde verdedigingssysteem heet het Robuust Adversarial Immune-geïnspireerd Leer Systeem. Het werk werd gepubliceerd in IEEE Access.

Alfred Hero is de John H. Holland Distinguished University professor. Hij leidde het werk.

“RAILS vertegenwoordigt de allereerste benadering van adversarial learning die is gemodelleerd naar het adaptieve immuunsysteem, dat anders werkt dan het aangeboren immuunsysteem,” zei Hero.

Het team ontdekte dat diepe neurale netwerken, die al zijn geïnspireerd door de hersenen, ook het biologische proces van het mammale immuunsysteem kunnen nabootsen. Dit immuunsysteem genereert nieuwe cellen die zijn ontworpen om specifieke pathogenen te bestrijden.

Indika Rajapakse is associate professor of computationele geneeskunde en bio-informatica, evenals co-leider van de studie.

“Het immuunsysteem is gebouwd voor verrassingen. Het heeft een geweldig ontwerp en zal altijd een oplossing vinden,” zei Rajapakse.

Het immuunsysteem nabootsen

RAILS bootst de natuurlijke verdediging van het immuunsysteem na, waardoor het in staat is om verdachte invoer naar het neurale netwerk te identificeren en aan te pakken. Het biologische team bestudeerde eerst hoe de adaptieve immuunsysteem van muizen reageerde op een antigen voordat ze een model van het immuunsysteem maakten.

Data-analyse van de informatie werd vervolgens uitgevoerd door Stephen Lindsly, die op dat moment een doctoraal student in bio-informatica was. Lindsly hielp bij het vertalen van deze informatie tussen de biologen en ingenieurs, waardoor Hero’s team het biologische proces op computers kon modelleren. Om dit te doen, mengde het team biologische mechanismen in de code.

RAILS-verdediging werd getest met adversarial invoer.

“We wisten niet zeker of we het biologische proces echt hadden vastgelegd totdat we de leercurves van RAILS vergeleken met die uit de experimenten,” zei Hero. “Ze waren exact hetzelfde.”

RAILS presteerde beter dan twee van de meest gebruikte machine learning-processen die momenteel worden gebruikt om adversarial aanvallen te bestrijden. Deze twee processen zijn Roust Deep k-Nearest Neighbor en convolutionele neurale netwerken.

Ren Wang is een onderzoeker in elektrotechniek en informatica. Hij was grotendeels verantwoordelijk voor de ontwikkeling en implementatie van de software.

“Een zeer veelbelovend deel van dit werk is dat ons algemene kader verschillende soorten aanvallen kan verdedigen,” zei Ren Wang.

De onderzoekers gebruikten vervolgens beeldidentificatie als testgeval om RAILS te evalueren tegen acht soorten adversarial aanvallen in verschillende datasets. Het toonde verbetering in alle gevallen, en het beschermd zelfs tegen Projected Gradient Descent-aanval, die de meest schadelijke soort adversarial aanval is. RAILS verbeterde ook de algehele nauwkeurigheid.

“Dit is een geweldig voorbeeld van het gebruik van wiskunde om dit prachtige dynamische systeem te begrijpen,” zei Rajapakse. “We kunnen mogelijk wat we hebben geleerd van RAILS gebruiken om het immuunsysteem te helpen sneller te werken.”