Mikä on Backpropagation?

Mikä on Backpropagation?

Syvän oppimisen järjestelmät pystyvät oppimaan erittäin monimutkaisia malleja, ja ne saavuttavat tämän säätämällä painojaan. Miten syvän neuroverkon painot säätämällä tarkalleen? Ne säätämällä prosessin kutsutaan prosessina kutsutaan backpropagation. Ilman backpropagationia syvät neuroverkot eivät pystyisi suorittamaan tehtäviä, kuten kuvien tunnistamista ja luonnollisen kielen tulkintaa. Ymmärtäminen, miten backpropagation toimii, on kriittinen ymmärtääkseen syvät neuroverkot yleensä, joten keskustellaan backpropagationista ja nähdään, miten prosessi käytetään säätämään verkon painoja.

Backpropagation voi olla vaikea ymmärtää, ja laskelmat, joita käytetään backpropagationin suorittamiseen, voivat olla melko monimutkaisia. Tämä artikkeli pyrkii antamaan sinulle intuitiivisen ymmärryksen backpropagationista, käyttämällä vähän monimutkaisia matemaattisia kaavoja. Kuitenkin joitakin matemaattisten kaavojen taustoja backpropagationista on tarpeen käydä läpi.

Backpropagationin tavoite

Aloitetaan määrittelemällä backpropagationin tavoite. Syvän neuroverkon painot ovat yhteyden voimakkuus neuroverkon yksiköiden välillä. Kun neuroverkko luodaan, tehdään oletuksia siitä, miten yksiköt yhdistyvät muihin yksiköihin. Kun data kulkee neuroverkon läpi, painot lasketaan ja oletuksia tehdään. Kun data saapuu verkon viimeiseen kerrokseen, tehdään ennuste siitä, miten ominaisuudet liittyvät luokkiin aineistossa. Ennustettujen arvojen ja todellisten arvojen välinen ero on virhe/loss, ja backpropagationin tavoite on vähentää virhettä. Tämä saavutetaan säätämällä verkon painoja, jolloin oletukset muistuttavat enemmän todellisia suhteita syöte-ominaisuuksien välillä.

Syvän neuroverkon koulutus

Ennen kuin backpropagation voidaan tehdä neuroverkolla, on suoritettava neuroverkon tavallinen/etenevä koulutus. Kun neuroverkko luodaan, aloituspainot määritellään. Painojen arvo muuttuu, kun verkkoa koulutetaan. Neuroverkon etenevä koulutus voidaan jakaa kolmeen erilliseen vaiheeseen: neuroniaktivaatio, neuronitoraus ja eteneminen.

Kun koulutetaan syvää neuroverkkoa, meidän on käytettävä useita matemaattisia funktioita. Neuroverkon neuronit koostuvat saapuvasta datasta ja aktivaatiofunktiosta, joka määrittää arvon, joka vaaditaan neuronin aktivoimiseen. Neuronin aktivaatioarvo lasketaan useiden komponenttien avulla, ja se on painotettu summa syötteistä. Painot ja syötteet riippuvat solmujen indekseistä, joita käytetään aktivaatioarvon laskemiseen. Toisen luvun on otettava huomioon laskettaessa aktivaatioarvoa, bias-arvo. Bias-arvot eivät muutu, joten niitä ei kerrota yhteen painojen ja syötteiden kanssa, vaan ne lisätään. Tämä tarkoittaa, että seuraava kaava voidaan käyttää aktivaatioarvon laskemiseen:

Aktivaatio = summa(paino * syöte) + bias

Neuronin aktivoimisen jälkeen aktivaatiofunktiota käytetään määrittämään neuronin todellisen tulosteen arvo. Eri aktivaatiofunktiot ovat optimaalisia eri oppimistehtävissä, mutta yleisesti käytettyjä aktivaatiofunktioita ovat sigmoidifunktio, Tanh-funktio ja ReLU-funktio.

Kun neuronin tulokset on laskettu suorittamalla aktivaatioarvo kautta toivottu aktivaatiofunktiota, eteneminen on valmis. Eteneminen on vain ottamista tulokset yhdestä kerroksesta ja tekeminen niistä syötteiksi seuraavaan kerrokseen. Uudet syötteet käytetään laskemaan uudet aktivaatiofunktiot, ja tämän operaation tulos välitetään seuraavaan kerrokseen. Tämä prosessi jatkuu verkon loppuun asti.

Backpropagation verkkoon

Backpropagationin prosessi ottaa vastaan mallin koulutusvaiheen lopputulokset ja määrittää virheet näissä päätöksissä. Virheet lasketaan vertaamalla verkon tulokset/ennusteet ja odotetut/haluatut tulokset.

Kun verkon päätösten virheet on laskettu, tämä tieto välitetään takaisin verkon läpi ja verkon parametrejä muutetaan matkan varrella. Menetelmä, jota käytetään verkon painojen päivittämiseen, perustuu differentiaali- ja integraalilaskentaan, erityisesti ketjusääntöön. Kuitenkin differentiaali- ja integraalilaskennan ymmärtäminen ei ole välttämätöntä backpropagationin periaatteen ymmärtämiseen. Riittää tietää, että kun neuronin tulostearvo on annettu, tulosteen kulun lasketaan siirtofunktiolla, josta saadaan johdettu tulos. Kun backpropagationia tehdään, virhe tietyn neuronin osalta lasketaan seuraavan kaavan mukaan:

Virhe = (odotettu_tulos – todellinen_tulos) * neuronin tulosteen kulun arvo

Kun toimintaan osallistuvat ulostulokerroksen neuronit, luokka-arvoa käytetään odotettuna arvona. Kun virhe on laskettu, virhettä käytetään syötteenä piilokerroksen neuroneille, mikä tarkoittaa, että piilokerroksen virhe on ulostulokerroksen neuroneiden virheiden painotettu summa. Virhelaskelmat kulkevat taaksepäin verkon läpi painojen mukana.

Kun verkon virheet on laskettu, verkon painojen on päivitettävä. Kuten mainittiin, virheen laskeminen vaatii tulosteen kulun määrittämisen. Kun kulun on laskettu, voidaan käyttää gradientin laskeutumismenetelmää verkon painojen säätämiseen. Gradientti on kulku, jonka kulma/steepness voidaan mitata. Kulku lasketaan piirtämällä “y yli” tai “nosto” “juoksu”. Neuroverkon ja virheen osalta “y” on laskettu virhe, kun taas “x” on verkon parametrejä. Verkon parametreilla on suhde laskettuihin virhearvoihin, ja kun verkon painoja säätämällä virhe kasvaa tai vähenee.

“Gradientin laskeutuminen” on prosessi, jossa painot päivitetään siten, että virheen määrä vähenee. Backpropagationia käytetään ennustamaan suhdetta neuroverkon parametrejen ja virheen välillä, mikä valmistaa verkon gradientin laskeutumiselle. Verkon koulutus gradientin laskeutumisella vaatii painojen laskemista etenemisen kautta, virheen takaisinlaskemisen ja sitten verkon painojen päivittämisen.