Backpropagation çi ye?

Backpropagation çi ye?

Pergalên fêrbûna kûr dikarin qalibên pir tevlihev fêr bibin, û ew vê yekê bi sererastkirina giraniya xwe pêk tînin. Giranên tora neuralî ya kûr tam çawa têne sererast kirin? Ew bi rê ve têne sererast kirin pêvajoyek bi navê paşnavkirin. Bêyî belavbûna paşverû, torên neuralî yên kûr dê nikaribin karên mîna naskirina wêneyan û şîrovekirina zimanê xwezayî pêk bînin. Fêmkirina ka paşnavber çawa dixebite ji bo têgihîştina torên neuralî yên kûr bi gelemperî pir girîng e, ji ber vê yekê werin em li ser belavbûna paşde nîqaş bikin û bibînin ka pêvajo çawa tê bikar anîn da ku giraniya torê biguhezîne.

Fêmkirina paşberpêdan dikare dijwar be, û hesabên ku ji bo pêkanîna paşnavkirinê têne bikar anîn dikarin pir tevlihev bin. Ev gotar dê hewil bide ku hûn têgihîştinek întuatîf a paşnavberdanê bide we, ku di riya matematîkî ya tevlihev de hindik bikar tîne. Lêbelê, hin nîqaşek li ser matematîkê li pişt paşnavkirinê hewce ye.

Armanca Paşpropagasyonê

Werin em bi diyarkirina armanca paşverûtiyê dest pê bikin. Giranên tora neuralî ya kûr hêza girêdanên di navbera yekîneyên tora neuralî de ne. Dema ku tora neuralî tê damezrandin, texmîn têne çêkirin ka yekîneyên di yek qatê de çawa bi qatên ku pê re hatine girêdan têne girêdan. Gava ku dane di nav tora neuralî de derbas dibe, giran têne hesibandin û texmîn têne çêkirin. Dema ku dane digihîje qata paşîn a torê, pêşbîniyek tê çêkirin ka taybetmendî çawa bi çînên di databasê re têkildar in. Cûdahiya di navbera nirxên pêşbînîkirî û nirxên rastîn de winda / xeletî ye, û armanca paşnavê ye. kêmkirina windabûnê ye. Ev bi eyarkirina giraniyên torê pêk tê, ku texmînan bêtir mîna têkiliyên rastîn ên di navbera taybetmendiyên têketinê de dike.

Perwerdehiya Tora Neuralî ya Kûr

Beriya ku paşnavkirin dikare li ser a torê neural, divê derbasbûna perwerdehiya birêkûpêk / pêş a tora neuralî were kirin. Dema ku torgilokek neuralî tê afirandin, komek giranî tê destpêkirin. Dema ku tor tê perwerdekirin dê nirxa giranan were guheztin. Derbasbûna perwerdehiya pêş a tora neuralî dikare wekî sê gavên veqetandî were hesibandin: aktîvkirina neuron, veguheztina neuron, û belavbûna pêş.

Dema ku torgilokek neuralî ya kûr perwerde dike, pêdivî ye ku em gelek fonksiyonên matematîkî bikar bînin. Neuronên di torgilokek neuralî ya kûr de ji daneya gihîştî û fonksiyonek çalakkirinê pêk tê, ku nirxa ku ji bo çalakkirina nodê hewce dike destnîşan dike. Nirxa aktîvkirina neuronê bi çend hêmanan ve tê hesibandin, ku berhevokek giran a ketinan e. Giran û nirxên têketinê bi nîşaneya girêkên ku ji bo hesabkirina çalakkirinê têne bikar anîn ve girêdayî ye. Dema ku nirxa aktîvkirinê tê hesibandin, nirxek bias divê hejmareke din were hesibandin. Nirxên alîgiriyê naguherin, ji ber vê yekê ew bi giranî û têketinê bi hev re nayên zêdekirin, ew tenê têne zêdekirin. Hemî ev tê vê wateyê ku hevkêşeya jêrîn dikare were bikar anîn da ku nirxa çalakkirinê hesab bike:

Çalakkirin = kombûn (giranî * têketin) + bias

Piştî ku neuron tê aktîfkirin, fonksiyonek çalakkirinê tê bikar anîn da ku diyar bike ku dê hilberîna hilberîna rastîn a neuronê çi be. Fonksiyonên aktîfkirinê yên cihêreng ji bo peywirên fêrbûnê yên cihêreng çêtirîn in, lê fonksiyonên aktîfkirinê yên bi gelemperî têne bikar anîn fonksiyona sigmoid, fonksiyona Tanh, û fonksiyona ReLU hene.

Gava ku derketinên neuronê bi xebitandina nirxa çalakkirinê bi fonksiyona çalakkirina xwestinê ve têne hesibandin, belavbûna pêşde tê kirin. Bersûc belavkirin tenê derxistinên yek qatek digire û wan dike têketina qatek din. Dûv re têketinên nû têne bikar anîn da ku fonksiyonên aktîvkirina nû hesab bikin, û derketina vê operasyonê derbasî qata jêrîn dibe. Ev pêvajo heta dawiya tora neuralî berdewam dike.

Piştgiriya di Torê de

Pêvajoya paşveberdanê di biryarên dawîn ên derbasbûna perwerdehiya modelê de digire, û dûv re ew xeletiyên di van biryaran de destnîşan dike. Çewtî bi berevajîkirina derketinên/biryarên torê û derketinên bendewarî/xwestî yên torê têne hesibandin.

Piştî ku xeletiyên di biryarên torê de hatin hesibandin, ev agahdarî bi navgîniya torê ve paşde tê belav kirin û di rê de pîvanên torê têne guhertin. Rêbaza ku ji bo nûvekirina giraniya torê tê bikar anîn li ser hesabkirinê ye, bi taybetî, ew li ser bingeha zincîre-qanûnê ye. Lêbelê, têgihîştina hesabkirinê ne hewce ye ku meriv ramana paşnavkirina paşverû fam bike. Tenê zanibin ku dema ku nirxek derketinê ji neuronek tê peyda kirin, keviya nirxa derketinê bi fonksiyonek veguheztinê tê hesibandin, ku hilberek hilberî çêdike. Dema ku paşîn belav kirin, xeletiya ji bo neuronek taybetî li gorî jêrîn tê hesibandin formîl:

şaşî = (derketina_çavdêrî - derana_rastî) * xirecira nirxa derketina neuronê

Dema ku li ser noyronên di qata derketinê de dixebitin, nirxa polê wekî nirxa hêvîkirî tê bikar anîn. Piştî ku xeletî hate hesibandin, xeletî wekî têketina noyronên di qata veşartî de tê bikar anîn, tê vê wateyê ku xeletiya vê qata veşartî xeletiyên giran ên noyronan e ku di nav qata derketinê de têne dîtin. Hesabên xeletiyê di nav torê de li ser tora giraniyê paşde diçin.

Piştî ku xeletiyên ji bo torê hatin hesibandin, divê giraniyên di torê de bêne nûve kirin. Wekî ku hate behs kirin, hesabkirina xeletiyê bi destnîşankirina tîrêjê nirxa derketinê vedihewîne. Piştî ku şil hate hesibandin, pêvajoyek ku wekî daketina gradient tê zanîn dikare were bikar anîn da ku giraniyên di torê de rast bikin. Pîvanek zozanek e, ku goşeya wê/hişkiya wê dikare were pîvandin. Zêdebûn bi xêzkirina "y ser" an "rabûn" li ser "run" tê hesibandin. Di mijara tora neuralî û rêjeya xeletiyê de, "y" xeletiya hesabkirî ye, dema ku "x" pîvanên torê ye. Parametreyên torê bi nirxên xeletiya hesabkirî re têkiliyek heye, û her ku giraniya torê têne sererast kirin xeletî zêde dibe an kêm dibe.

"Derketina gradient" pêvajoya nûvekirina giranan e da ku rêjeya xeletiyê kêm bibe. Paşpropagasyon ji bo pêşbînîkirina têkiliya di navbera pîvanên tora neuralî û rêjeya xeletiyê de tê bikar anîn, ku torê ji bo daketina gradient saz dike. Perwerdehiya torgilokek bi daketina gradient tê de hesabkirina giranan bi belavkirina pêş, paşve belavkirina xeletiyê, û dûv re nûvekirina giraniyên torê ve girêdayî ye.