Hoe kunnen we Deep Learning gebruiken met kleine gegevens? – Thought Leaders

Wanneer het gaat om bijhouden van de nieuwste trends in cybersecurity, kan het proces van op de hoogte blijven van recente ontwikkelingen nogal omslachtig zijn, omdat er veel nieuws is om bij te houden. De laatste tijd is de situatie echter drastisch veranderd, aangezien de cybersecurity-domeinen lijken te draaien om twee woorden: deep learning.

Hoewel we aanvankelijk verrast waren door de enorme aandacht die deep learning kreeg, werd het al snel duidelijk dat de opwinding rond deep learning terecht was. Op een manier die vergelijkbaar is met de menselijke hersenen, maakt deep learning het mogelijk voor een AI-model om zeer nauwkeurige resultaten te behalen door taken rechtstreeks uit te voeren vanuit tekst, afbeeldingen en audiocues.

Tot nu toe werd algemeen aangenomen dat deep learning afhankelijk is van een enorme hoeveelheid gegevens, vergelijkbaar met de omvang van de gegevens die worden gehuisvest door Silicon Valley-giganten zoals Google en Facebook om de meest complexe problemen binnen een organisatie op te lossen. In tegenstelling tot de algemene overtuiging, kunnen ondernemingen echter de kracht van deep learning benutten, zelfs met toegang tot een beperkte gegevensset.

In een poging om onze lezers te helpen met de nodige kennis om hun organisatie uit te rusten met deep learning, hebben we een artikel samengesteld dat diep ingaat (geen grap bedoeld) op enkele manieren waarop ondernemingen de voordelen van deep learning kunnen benutten, ondanks toegang tot een beperkte, of ‘kleine’ gegevensset.

Maar voordat we kunnen beginnen met de kern van het artikel, zouden we graag een kleine, maar zeer essentiële suggestie doen: begin eenvoudig. Voordat je begint met het formuleren van neurale netwerken die complex genoeg zijn om in een sciencefictionfilm te worden gebruikt, begin door te experimenteren met enkele eenvoudige en conventionele modellen (bijv. random forest) om de software onder de knie te krijgen.

Met dat uit de weg, laten we direct beginnen met enkele manieren waarop ondernemingen deep learning-technologie kunnen integreren, terwijl ze toegang hebben tot een beperkte gegevensset.

#1- Fijnafstemmen van het basismodel:

Zoals we hierboven al hebben vermeld, is de eerste stap die ondernemingen moeten nemen nadat ze een eenvoudig basismodel voor deep learning hebben geformuleerd, om dit model te fijnafstemmen voor het specifieke probleem dat aan de orde is.

Hoewel het fijnafstemmen van een basismodel op papier moeilijker lijkt dan het in werkelijkheid is, is het fundamentale idee achter het fijnafstemmen van een grote gegevensset om te voldoen aan de specifieke behoeften van een onderneming eenvoudig: je neemt een grote gegevensset die enige gelijkenis vertoont met het domein waarin je opereert, en fijnafstemt vervolgens de details van de oorspronkelijke gegevensset met je beperkte gegevens.

Wat betreft het verkrijgen van de grote gegevensset, kunnen ondernemingsleiders vertrouwen op ImageNet, die ook een eenvoudige oplossing biedt voor problemen met beeldclassificatie. De door ImageNet gehoste gegevensset biedt organisaties toegang tot miljoenen afbeeldingen, die zijn onderverdeeld in meerdere klassen van afbeeldingen, die nuttig kunnen zijn voor ondernemingen uit een breed scala aan domeinen, waaronder, maar niet beperkt tot, afbeeldingen van dieren, enz.

Als het proces van fijnafstemmen van een vooraf getraind model om te voldoen aan de specifieke behoeften van uw organisatie nog steeds te veel werk lijkt, raden we u aan om hulp te zoeken op internet, aangezien een eenvoudige Google-zoekopdracht u honderden tutorials zal opleveren over hoe u een gegevensset kunt fijnafstemmen.

#2- Meer gegevens verzamelen:

Hoewel het tweede punt op onze lijst voor sommige van onze meer cynische lezers overbodig kan lijken, is het feit dat wanneer het gaat om deep learning, de grotere uw gegevensset is, des te waarschijnlijker u bent om nauwkeurigere resultaten te behalen.

Hoewel de essentie van dit artikel erin bestaat om ondernemingen met een beperkte gegevensset te voorzien van de nodige kennis, hebben we vaak de onaangename ervaring gehad om te veel “hoge functionarissen” tegen te komen die het investeren in het verzamelen van gegevens beschouwen als een zonde.

Het is al te vaak dat bedrijven de voordelen van deep learning negeren, simpelweg omdat ze niet bereid zijn tijd en moeite te investeren in het verzamelen van gegevens. Als uw onderneming onzeker is over de hoeveelheid gegevens die moet worden verzameld, raden we u aan om leercurves te plotten, aangezien de extra gegevens in het model worden geïntegreerd, en de verandering in modelprestaties te observeren.

In tegenstelling tot de algemene overtuiging die door de meeste CSO’s en CISO’s wordt gehuldigd, is soms de beste manier om problemen op te lossen door meer relevante gegevens te verzamelen. De rol van CSO en CISO is in dit geval extreem belangrijk, omdat er altijd een dreiging van cyberaanvallen is. In 2019 werd de totale wereldwijde uitgaven aan cybersecurity 103,1 miljard dollar, en het aantal blijft stijgen. Om dit in perspectief te plaatsen, laten we een eenvoudig voorbeeld overwegen: stel dat u zeldzame diamanten probeert te classificeren, maar toegang heeft tot een zeer beperkte gegevensset. Het meest voor de hand liggende antwoord op het probleem is om meer gegevens te verzamelen!

#3- Gegevensverrijking:

Hoewel de eerste twee punten die we hierboven hebben besproken beide zeer efficiënt zijn in het bieden van een eenvoudige oplossing voor de meeste problemen rondom de implementatie van deep learning in ondernemingen met een kleine gegevensset, zijn ze sterk afhankelijk van een zeker niveau van geluk om de klus te klaren.

Als u geen succes heeft met het fijnafstemmen van een bestaande gegevensset, raden we u aan om gegevensverrijking te proberen. De manier waarop gegevensverrijking werkt is eenvoudig. Door middel van gegevensverrijking wordt de invoergegevensset gewijzigd of verrijkt, op een manier die een nieuwe uitvoer oplevert, zonder de labelwaarde daadwerkelijk te veranderen.

Om het idee van gegevensverrijking voor onze lezers in perspectief te plaatsen, laten we een afbeelding van een hond overwegen. Wanneer deze wordt geroteerd, kan de kijker van de afbeelding nog steeds zien dat het een afbeelding van een hond is. Dit is precies wat goede gegevensverrijking probeert te bereiken, in tegenstelling tot een geroteerde afbeelding van een weg, die de hoek van verheffing verandert en veel ruimte laat voor het deep learning-algoritme om tot een onjuiste conclusie te komen en het doel van het implementeren van deep learning in de eerste plaats te verslaan.

Wanneer het gaat om het oplossen van problemen met betrekking tot beeldclassificatie, fungeert gegevensverrijking als een sleutelspeler in het veld en biedt het een breed scala aan gegevensverrijkingstechnieken die helpen om het deep learning-model een diepgaand begrip van de verschillende beeldclassificaties te geven.

Bovendien zijn de mogelijkheden voor gegevensverrijking bijna eindeloos. Ondernemingen kunnen gegevensverrijking op verschillende manieren implementeren, waaronder NLP en het experimenteren met GAN’s, waardoor het algoritme nieuwe gegevens kan genereren.

#4- Implementeren van een ensemble-effect:

De technologie achter deep learning dicteert dat het netwerk is gebouwd op meerdere lagen. Echter, in tegenstelling tot de algemene overtuiging die door velen wordt gehuldigd, dient de laatste laag niet als een “steeds toenemende” hiërarchie van functies, maar biedt het een ensemble-mechanisme.

De overtuiging dat ondernemingen met toegang tot een beperkte, of kleine, gegevensset moeten kiezen voor het bouwen van hun netwerken diep, werd ook gedeeld in een NIPs-paper, dat de overtuiging die we hierboven hebben uitgedrukt, weerspiegelde. Ondernemingen met kleine gegevenssets kunnen het ensemble-effect gemakkelijk manipuleren om hun voordeel te behalen, door simpelweg hun deep learning-netwerken diep te bouwen, door middel van fijnafstemming of een andere alternatieve methode.

#5- Integreren van auto-encoders:

Hoewel het vijfde punt dat we in overweging hebben genomen relatief weinig succes heeft gehad, zijn we nog steeds voorstander van het gebruik van auto-encoders om een netwerk voor te trainen en het netwerk correct te initialiseren.

Een van de belangrijkste redenen, afgezien van cyberaanvallen, waarom ondernemingen er niet in slagen om over de eerste hindernissen van deep learning heen te komen, is omdat van slechte initialisatie en de vele valkuilen ervan. Ongezien voorafgaand trainen leidt vaak tot slechte of onjuiste uitvoering van de deep learning-technologie, en dat is waar auto-encoders kunnen schitteren.

De fundamentele notie achter een neurale netwerk dicteert de creatie van een neurale netwerk dat de aard van de invoergegevensset voorspelt. Als u onzeker bent over hoe u een auto-encoder moet gebruiken, zijn er verschillende tutorials online die duidelijke instructies geven.

Conclusie:

Aan het einde van het artikel zouden we graag willen terugbetalen wat we in het hele artikel hebben gezegd, met één toevoeging – het integreren van domeinspecifieke kennis in het leerproces! Niet alleen versnelt de integratie van waardevolle inzichten het leerproces, maar het stelt de deep learning-technologie ook in staat om betere en nauwkeurigere resultaten te produceren.