AI 101
Wat is Deep Learning?
Diep leer is een van die mees invloedryke en vinnigste groeiende velde in kunsmatige intelligensie. Dit kan egter moeilik wees om 'n intuïtiewe begrip van diep leer te kry, want die term diep leer dek 'n verskeidenheid verskillende algoritmes en tegnieke. Diep leer is ook 'n subdissipline van masjienleer in die algemeen, daarom is dit belangrik om te verstaan wat masjienleer is om diep leer te verstaan.
Wat is masjienleer?
Diep leer is 'n uitbreiding van sommige van die konsepte wat afkomstig is van masjienleer, so om daardie rede, kom ons neem 'n minuut om te verduidelik wat masjienleer is.
Eenvoudig gestel, masjienleer is 'n metode om rekenaars in staat te stel om spesifieke take uit te voer sonder om elke reël van die algoritmes wat gebruik word om daardie take uit te voer, eksplisiet te kodeer. Daar is baie verskillende masjienleeralgoritmes, maar een van die mees gebruikte algoritmes is a meerlaag perceptron. Daar word ook na 'n meerlaagperseptron verwys as 'n neurale netwerk, en dit bestaan uit 'n reeks nodusse/neurone wat aan mekaar gekoppel is. Daar is drie verskillende lae in 'n meerlaagperceptron: die invoerlaag, die versteekte laag en die uitsetlaag.
Die invoerlaag neem die data na die netwerk, waar dit deur die nodusse in die middel/versteekte laag gemanipuleer word. Die nodusse in die versteekte laag is wiskundige funksies wat die data wat vanaf die invoerlaag kom, kan manipuleer, en relevante patrone uit die invoerdata kan onttrek. Dit is hoe die neurale netwerk "leer". Neurale netwerke kry hul naam van die feit dat hulle geïnspireer is deur die struktuur en funksie van die menslike brein.
Die verbindings tussen nodusse in die netwerk het waardes wat gewigte genoem word. Hierdie waardes is in wese aannames oor hoe die data in een laag verband hou met die data in die volgende laag. Soos die netwerk treine word die gewigte aangepas, en die doel is dat die gewigte/aannames oor die data uiteindelik sal konvergeer op waardes wat die betekenisvolle patrone binne die data akkuraat verteenwoordig.
Aktiveringsfunksies is teenwoordig in die nodusse van die netwerk, en hierdie aktiveringsfunksies transformeer die data op 'n nie-lineêre wyse, wat die netwerk in staat stel om komplekse voorstellings van die data te leer. Aktiveringsfunksies vermenigvuldig die invoerwaardes met die gewigwaardes en voeg 'n vooroordeelterm by.
Wat is Deep Learning?
Diep leer is die term wat gegee word aan masjienleer-argitekture wat baie meerlaagperseptrone saamvoeg, sodat daar nie net een versteekte laag is nie, maar baie versteekte lae. Hoe "dieper" die diep neurale netwerk is, hoe meer gesofistikeerde patrone kan die netwerk aanleer.
Die dieplaagnetwerke wat uit neurone bestaan, word soms na verwys as ten volle gekoppelde netwerke of ten volle gekoppelde lae, wat verwys na die feit dat 'n gegewe neuron 'n verbinding met al die neurone wat dit omring behou. Ten volle gekoppelde netwerke kan gekombineer word met ander masjienleerfunksies om verskillende diepleer-argitekture te skep.
Verskillende tipes diep leer
Daar is 'n verskeidenheid diepleer-argitekture wat deur navorsers en ingenieurs gebruik word, en elkeen van die verskillende argitekture het sy eie spesialiteitsgebruiksgeval.
Omwentelings neurale netwerke
Konvolusionele neurale netwerke, of CNN's, is die neurale netwerkargitektuur wat algemeen gebruik word in die skepping van rekenaarvisiestelsels. Die struktuur van konvolusionele neurale netwerke stel hulle in staat om beelddata te interpreteer, om dit om te skakel in getalle wat 'n volledig gekoppelde netwerk kan interpreteer. 'n CNN het vier hoofkomponente:
- Konvolusionele lae
- Submonstering/poel lae
- Aktiveringsfunksies
- Ten volle gekoppelde lae
Die konvolusionele lae is wat die beelde as insette in die netwerk inneem, die beelde ontleed en die waardes van die pixels kry. Subsampling of poel is waar die beeldwaardes omgeskakel/verminder word om die voorstelling van die beelde te vereenvoudig en die sensitiwiteit van die beeldfilters vir geraas te verminder. Die aktiveringsfunksies beheer hoe die data van een laag na die volgende laag vloei, en die volledig gekoppelde lae is wat die waardes wat die beeld verteenwoordig, ontleed en die patrone leer wat in daardie waardes gehou word.
RNN'e/LSTM'e
Herhalende neurale netwerke, of RNN'e, is gewild vir take waar die volgorde van die data saak maak, waar die netwerk moet leer oor 'n volgorde van data. RNN'e word algemeen toegepas op probleme soos natuurlike taalverwerking, aangesien die volgorde van woorde saak maak wanneer die betekenis van 'n sin gedekodeer word. Die "herhalende" deel van die term Herhalende Neurale Netwerk kom van die feit dat die uitset vir 'n gegewe element in 'n ry afhanklik is van die vorige berekening sowel as die huidige berekening. Anders as ander vorme van diep neurale netwerke, het RNN'e "herinneringe", en die inligting wat op die verskillende tydstappe in die volgorde bereken word, word gebruik om die finale waardes te bereken.
Daar is verskeie tipes RNN'e, insluitend tweerigting-RNN'e, wat toekomstige items in die volgorde in ag neem, benewens die vorige items, wanneer 'n item se waarde bereken word. 'n Ander tipe RNN is 'n Lang korttermyn geheue, of LSTM, netwerk. LSTM's is tipes RNN wat lang kettings data kan hanteer. Gereelde RNN's kan die slagoffer word van iets wat die "ontploffende gradiëntprobleem" genoem word. Hierdie probleem kom voor wanneer die ketting van insetdata uiters lank word, maar LSTM'e het tegnieke om hierdie probleem te bekamp.
Outo-enkodeerders
Die meeste van die diepleer-argitekture wat tot dusver genoem is, word toegepas op leerprobleme onder toesig, eerder as leertake sonder toesig. Outo-enkodeerders is in staat om data sonder toesig te omskep in 'n formaat onder toesig, sodat neurale netwerke op die probleem gebruik kan word.
Outo-enkodeerders word gereeld gebruik om anomalieë in datastelle op te spoor, 'n voorbeeld van leer sonder toesig aangesien die aard van die anomalie nie bekend is nie. Sulke voorbeelde van anomalie-opsporing sluit in bedrogopsporing vir finansiële instellings. In hierdie konteks is die doel van 'n outo-enkodeerder om 'n basislyn van gereelde patrone in die data te bepaal en anomalieë of uitskieters te identifiseer.
Die struktuur van 'n outo-enkodeerder is dikwels simmetries, met verborge lae so gerangskik dat die uitset van die netwerk soos die insette lyk. Die vier tipes outo-enkodeerders wat gereeld gebruik word, is:
- Gereelde/gewone outo-enkodeerders
- Meerlaags enkodeerders
- Konvolusionele enkodeerders
- Gereelde enkodeerders
Gereelde/gewone outo-enkodeerders is net neurale nette met 'n enkele versteekte laag, terwyl multilaag outo-enkodeerders diep netwerke is met meer as een versteekte laag. Konvolusionele outo-enkodeerders gebruik konvolusionele lae in plaas van, of bykomend tot, volledig gekoppelde lae. Gereelde outo-enkodeerders gebruik 'n spesifieke soort verliesfunksie waarmee die neurale netwerk meer komplekse funksies kan uitvoer, ander funksies as om insette na uitsette te kopieer.
Generatiewe teenstandersnetwerke
Generatiewe teenstandersnetwerke (GAN's) is eintlik veelvuldige diep neurale netwerke in plaas van net een netwerk. Twee diepleermodelle word terselfdertyd opgelei, en hul uitsette word na die ander netwerk gevoer. Die netwerke is in kompetisie met mekaar, en aangesien hulle toegang tot mekaar se uitsetdata kry, leer hulle albei uit hierdie data en verbeter hulle. Die twee netwerke speel in wese 'n speletjie van vervalsing en opsporing, waar die generatiewe model nuwe gevalle probeer skep wat die speurmodel/die diskrimineerder sal flous. GAN's het gewild geword in die veld van rekenaarvisie.
Diep Leer Opsomming
Diep leer brei die beginsels van neurale netwerke uit om gesofistikeerde modelle te skep wat komplekse patrone kan aanleer en daardie patrone na toekomstige datastelle kan veralgemeen. Konvolusionele neurale netwerke word gebruik om beelde te interpreteer, terwyl RNN'e/LSTM'e gebruik word om opeenvolgende data te interpreteer. Outo-enkodeerders kan leertake sonder toesig omskep in leertake onder toesig. Ten slotte, GAN's is veelvuldige netwerke wat teen mekaar staan wat veral nuttig is vir rekenaarvisietake.
