Hvordan vi kan bruge Deep Learning med små data? – Tankeledere

Når det kommer til at følge med nye trends inden for cybersikkerhed, kan processen med at holde sig ajour med de seneste udviklinger blive ret kedelig, da der er meget nyheder at holde styr på. I disse dage er situationen imidlertid ændret dramatisk, da cybersikkerhedsområderne synes at dreje sig om to ord – deep learning.

Selv om vi initialt blev overrasket over den massive dækning, som deep learning modtog, blev det hurtigt klart, at den buzz, der blev genereret af deep learning, var berettiget. På en måde, der ligner det menneskelige hjernes, giver deep learning en AI-model mulighed for at opnå meget præcise resultater ved at udføre opgaver direkte fra tekst, billeder og lydkilder.

Indtil dette punkt var det almindeligt antaget, at deep learning afhænger af en enorm mængde data, lignende størrelsen af data, der er hjemlet i Silicon Valley-giganter som Google og Facebook for at opnå målet om at løse de mest komplicerede problemer inden for en organisation. I modsætning til den almindelige opfattelse kan virksomheder dog udnytte kraften af deep learning, selv med adgang til en begrænset datapool.

I et forsøg på at hjælpe vores læsere med den nødvendige viden til at udstyre deres organisation med deep learning, har vi samlet en artikel, der dykker dybt (ingen intention om at lave en vittighed) ned i nogle af de måder, hvorpå virksomheder kan udnytte fordelene ved deep learning på trods af at have adgang til begrænsede eller “små” data.

Men før vi kan komme til artikelens kernepunkt, vil vi gerne give et lille, men meget væsentligt forslag – start simpelt. Før du begynder at formulere neurale netværk, der er komplekse nok til at figurere i en science fiction-film, start med at eksperimentere med nogle simple og konventionelle modeller (f.eks. tilfældigt skov) for at få følelse med softwaren.

Med det sagt, lad os komme direkte til nogle af de måder, hvorpå virksomheder kan kombinere deep learning-teknologien, mens de har adgang til begrænsede data.

#1 – Finjustering af baseline-modellen:

Som vi allerede har nævnt ovenfor, er det første skridt, som virksomheder skal tage efter, at de har formuleret en simpel baseline deep learning-model, at finjustere dem til det specifikke problem, der er på hånden.

Men finjustering af en baseline-model lyder meget sværere på papir, end det faktisk er. Den grundlæggende idé bag finjustering af en stor datamængde for at imødekomme de specifikke behov i en virksomhed er simpel – du tager en stor datamængde, der ligner domænet, du fungerer i, og derefter finjusterer detaljerne i den oprindelige datamængde med din begrænsede data.

Når det kommer til at få fat i den store datamængde, kan virksomheds ejere stole på ImageNet, der også giver en nem løsning til problemer med billedklassificering. Datamængden, der er vært for ImageNet, giver organisationer adgang til millioner af billeder, der er fordelt på flere billedklasser, der kan være nyttige for virksomheder fra en bred vifte af domæner, herunder, men ikke begrænset til billeder af dyr osv.

Hvis processen med at finjustere en forudindlært model til at imødekomme de specifikke behov i din organisation stadig synes for svær for dig, vil vi anbefale at få hjælp fra internettet, da en simpel Google-søgning vil give dig hundredvis af tutorials om, hvordan du kan finjustere en datamængde.

#2 – Saml mere data:

Selv om det andet punkt på vores liste kan synes redundant for nogle af vores mere skeptiske læsere, er kendsgerningen, at når det kommer til deep learning, jo større din datamængde er, jo mere sandsynligt er du at opnå mere præcise resultater.

Selv om artikelens essens ligger i at give virksomheder med en begrænstet datamængde mulighed for at udnytte fordelene ved deep learning, har vi ofte haft ubehageligheden at møde for mange “topchefer”, der behandler investering i dataværk som en kardinal synd.

Det er alt for ofte, at virksomheder overseer fordelene ved deep learning, blot fordi de er uvillige til at investere tid og indsats i indsamlingen af data. Hvis din virksomhed er usikker på, hvor meget data der skal indsamles, vil vi foreslå at plotte læringskurver, efterhånden som den ekstra data integreres i modellen, og observere ændringen i modelpræstationen.

I modsætning til den almindelige opfattelse, der er holdt af de fleste CSO’er og CISO’er, er det nogle gange den bedste måde at løse problemer på at indsamle mere relevant data. Rollen som CSO og CISO er ekstremt vigtig i denne sag, da der altid er en trussel om cyberangreb. Det er fundet, at i 2019 udgjorde den globale udgift til cybersikkerhed op til 103,1 milliarder dollar, og tallet stiger. For at sætte dette i perspektiv, lad os overveje et simpelt eksempel – forestil dig, at du prøver at klassificere sjældne diamanter, men har adgang til en meget begrænstet datamængde. Som den mest åbenlyse løsning på problemet dikterer, i stedet for at have en festdag med baseline-modellen, samler du bare mere data!

#3 – Dataforstærkning:

Selv om de to første punkter, vi har diskuteret ovenfor, er begge meget effektive til at give en nem løsning på de fleste problemer omkring implementering af deep learning i virksomheder med en begrænsset datamængde, afhænger de tungt af en vis portion held for at få jobbet gjort.

Hvis du ikke kan opnå nogen succes med at finjustere en eksisterende datamængde, vil vi anbefale at prøve dataforstærkning. Måden, dataforstærkning fungerer på, er simpel. Gennem processen med dataforstærkning ændres inputdatamængden eller forstærkes på en måde, der giver en ny output, uden at ændre værdien af mærket.

For at sætte idéen om dataforstærkning i perspektiv for vores læsere, lad os overveje et billede af en hund. Når det roteres, vil betragteren af billedet stadig være i stand til at se, at det er et billede af en hund. Det er præcis, hvad god dataforstærkning håber at opnå, i modsætning til et roteret billede af en vej, der ændrer vinkelhøjden og efterlader megen plads til, at deep learning-algoritmen kan komme til en forkert konklusion og bryder formålet med at implementere deep learning fra starten.

Når det kommer til at løse problemer relateret til billedklassificering, fungerer dataforstærkning som en nøgleaktør på området og har en række dataforstærkningsmetoder, der hjælper deep learning-modellen med at få en dyb forståelse af de forskellige klassificeringer af billeder.

Desuden, når det kommer til at forstærke data – mulighederne er næsten ubegrænsede. Virksomheder kan implementere dataforstærkning på en række måder, der inkluderer NLP og eksperimentering med GAN’er, der giver algoritmen mulighed for at generere ny data.

#4 – Implementering af ensembleeffekten:

Teknologien bag deep learning dikterer, at netværket er bygget op af flere lag. Men i modsætning til den almindelige opfattelse, der er holdt af mange, i stedet for at se hvert lag som en “altid øgende” hierarki af funktioner, tjener det sidste lag formålet med at tilbyde en ensemblemekanisme.

Troen på, at virksomheder med adgang til en begrænsset eller lille datamængde skal vælge at bygge deres netværk dybt, blev også delt i en NIPs-papir, der spejlede den tro, vi har udtrykt ovenfor. Virksomheder med små data kan let manipulere ensembleeffekten til deres fordel, blot ved at bygge deres deep learning-netværk dybt gennem finjustering eller en anden alternativ.

#5 – Inkorporering af autoencodere:

Selv om det femte punkt, vi har overvejet, kun har opnået en relativ succes – er vi stadig positive over for brugen af autoencodere til at forindlære et netværk og initialisere netværket korrekt.

En af de største årsager, ud over cyberangreb, til, at virksomheder ikke kan overvinde de første hindringer for at integrere deep learning, skyldes dårlig initialisering og dets mange faldgruber. Usuperviseret forindlæring kan ofte føre til dårlig eller forkert udførelse af deep learning-teknologien, og det er her, autoencodere kan udmærke sig.

Den grundlæggende idé bag et neuralt netværk dikterer oprettelsen af et neuralt netværk, der forudsiger naturen af datamængden, der indtastes. Hvis du er usikker på, hvordan du kan bruge en autoencoder, er der flere tutorials online, der giver klare instruktioner.

Til slut:

Til slut vil vi gerne gentage, hvad vi har sagt igennem hele artiklen, med en tilføjelse – inkorporering af domænespecifik viden i læringsprocessen! Ikke kun giver inkorporeringen af værdifuld indsigt mulighed for at accelerere læringsprocessen, men det giver også deep learning-teknologien mulighed for at producere bedre og mere præcise resultater.