Meta-Fêrbûn çi ye?

Meta-Fêrbûn çi ye?

Yek ji qadên lêkolînê yên ku di fêrbûna makîneyê de zûtirîn mezin dibe qada lêkolînê ye fêrbûna meta. Meta-hînbûn, di çarçoweya fêrbûna makîneyê de, karanîna algorîtmayên fêrbûna makîneyê ye ku di perwerdekirin û xweşbînkirina modelên fêrbûna makîneyê yên din de bibe alîkar. Her ku meta-hînbûn her ku diçe populertir dibe û bêtir teknîkên meta-hînbûnê têne pêşve xistin, sûdmend e ku meriv têgihîştina meta-hînbûnê çi ye û têgihîştina awayên cihêreng ên ku ew dikare were sepandin hebe. Ka em ramanên li pişt fêrbûna meta bikolin, cureyên meta-hînbûnê, û her weha hin awayên ku fêrbûna meta dikare were bikar anîn.

Têgîna meta-hînbûnê ji hêla Donald Maudsley ve hate çêkirin da ku pêvajoyek pêvajoyek ku mirov dest bi şeklê fêrbûna tiştên ku fêr dibin vedibêje, û dibe "zêdetir di bin kontrola adetên têgihîştin, lêpirsîn, fêrbûn û mezinbûna ku wan navxweyî kirine". Dûv re, zanyar û psîkologên cognitive dê meta-hînbûnê wekî "fêrbûna meriv çawa fêr bibe" binav dikin.

Ji bo guhertoya fêrbûna makîneyê ya meta-hînbûnê, ramana gelemperî ya "hînbûna meriv çawa fêr bibe" li pergalên AI-ê tê sepandin. Di wateya AI-ê de, meta-hînbûn şiyana makîneyek biaqil e ku fêr bibe ka meriv çawa karên cihêreng ên tevlihev pêk tîne, prensîbên ku ew bikar anîne ji bo fêrbûna yek peywirê digire û wê li karên din bicîh tîne. Pergalên AI-ê bi gelemperî pêdivî ye ku bêne perwerde kirin da ku karekî bi serweriya gelek jêrxebatên piçûk pêk bînin. Ev perwerde dikare demek dirêj bigire û nûnerên AI-ê bi hêsanî zanîna ku di dema karekî de fêr bûne veguhezînin karekî din. Afirandina model û teknîkên fêrbûna meta dikare ji AI-ê re bibe alîkar ku fêr bibe ku rêbazên fêrbûnê gelemperî bike û zûtir jêhatîyên nû bistîne.

Cureyên Meta-Fêrbûnê

Optimizer Meta-Fêrbûn

Fêrbûna meta bi gelemperî ji bo xweşbînkirina performansa tora neuralî ya heyî tê bikar anîn. Rêbazên fêrbûna meta Optimizer bi gelemperî bi guheztina hîperparametreyên tora neuralî ya cihêreng dixebitin da ku performansa tora neuralî ya bingehîn baştir bikin. Encam ev e ku tora armanc divê di pêkanîna peywira ku li ser tê perwerde kirin de çêtir bibe. Nimûneyek optimîzatorek meta-fêrbûnê karanîna torê ye ku çêtir bike daketina gradient results.

Çend-Şots Meta-Fêrbûn

Nêzîkatiya meta-fêrbûnê ya çend fîşekan ew e ku tê de torgilokek neuralî ya kûr hatî çêkirin ku karibe ji berhevokên perwerdehiyê berbi komên daneyan ên nedîtî ve were gelemperî kirin. Nimûneyek dabeşkirina çend-shot dişibihe peywirek dabeşkirinê ya normal, lê di şûna wê de, nimûneyên daneyê tevahî danehev in. Model li ser gelek peywirên fêrbûnê / berhevokên fêrbûnê yên cihêreng têne perwerde kirin û dûv re ew ji bo performansa pez li ser pirjimariya peywirên perwerdehiyê û daneyên nedîtî xweştir dibe. Di vê nêzîkbûnê de, nimûneyek perwerdehiyê li gelek çînan tê dabeş kirin. Ev tê vê wateyê ku her nimûneya perwerdehiyê / berhevoka daneyê bi potansiyel dikare ji du çînan pêk were, bi tevahî 4-fîşekan. Di vê rewşê de, karûbarê perwerdehiya tevahî dikare wekî peywirek dabeşkirina 4-polî ya 2-şok were binav kirin.

Di fêrbûna çend-fîşekan de, fikir ev e ku nimûneyên perwerdehiya kesane mînîmalîst in û ku tor piştî dîtina çend wêneyan dikare fêrî nasandina tiştan bibe. Bi vî rengî zarokek piştî dîtina çend wêneyan fêrî cûdakirina tiştan dibe. Ev nêzîkatî ji bo afirandina teknîkên mîna modelên hilberîner ên yek-fîşek û torên neuralî yên zêdekirî yên bîranînê hatî bikar anîn.

Meta-Fêrbûna Metric

Fêrbûna meta-ya bingehîn a metrîk karanîna torên neuralî ye ku diyar bike ka metrîkek bi bandor tê bikar anîn û gelo tor an torên metrîka armancê dixin. Fêrbûna meta metrîk dişibihe fêrbûna çend-şok e ku tenê çend mînak têne bikar anîn da ku torê perwerde bikin û ew fêrî cîhê metrîk bikin. Heman metrîk li seranserê qada cihêreng tê bikar anîn û heke şebek ji metrikê veqetin ew wekî têkçûn têne hesibandin.

Meta-Fêrbûna Modela Dubare

Meta-hînbûna modela dûbare sepana teknîkên meta-hînbûnê ye li ser Torên Neuralî yên Vegeredar û toreyên Bîra Kurt-Term ên mîna hev. Ev teknîk bi perwerdekirina modela RNN/LSTM ve tê xebitandin ku bi rêzdarî danegehek fêr bibe û dûv re vê modela perwerdekirî wekî bingehek ji bo xwendekarek din bikar bîne. Meta-hînkar algorîtmaya xweşbîniya taybetî ya ku ji bo perwerdekirina modela destpêkê hatî bikar anîn digire. Parametrekirina mîras a meta-xwendekar dihêle ku ew zû dest pê bike û li hev bicive, lê dîsa jî dikare ji bo senaryoyên nû nûve bike.

Meta-Fêrbûn Çawa Kar dike?

Awayê rast ku meta-hînbûnê tê meşandin li gorî model û cewherê peywira di dest de diguhere. Lêbelê, bi gelemperî, peywirek meta-hînbûnê ye kopîkirina li ser parametreyan pêk tîne ya tora yekem nav parametreyên tora duyemîn / optimîzator.

Di meta-hînbûnê de du pêvajoyên perwerdehiyê hene. Modela meta-hînbûnê bi gelemperî piştî ku çend gavên perwerdehiyê li ser modela bingehîn hatine perwerde kirin. Piştî gavên pêş, paşverû û xweşbîniyê yên ku modela bingehîn perwerde dikin, ji bo modela xweşbîniyê derbasbûna perwerdehiya pêş tê kirin. Mînakî, piştî sê an çar gavên perwerdehiyê li ser modela bingehîn, meta-windabûnek tê hesibandin. Piştî ku meta-winda tê hesibandin, gradient ji bo her meta-parameterê têne hesibandin. Piştî ku ev pêk tê, meta-parametreyên di optimîzatorê de têne nûve kirin.

Yek îmkanek ji bo hesabkirina meta-windabûnê ev e ku meriv derbasbûna perwerdehiya pêşwext a modela destpêkê biqedîne û dûv re windahiyên ku ji berê ve hatine hesibandin berhev bike. Meta-optimîzator tewra dibe ku meta-xwendekarek din be, her çend di xalek diyar de pêdivî ye ku optimîzatorek veqetandî mîna ADAM an SGD were bikar anîn.

Gelek modelên fêrbûna kûr dikarin bi sed hezaran an jî bi mîlyonan pîvanan hebin. Afirandina meta-xwendekarek ku xwedan komek parametreyên bi tevahî nû ye dê ji hêla hesabkirinê ve biha be, û ji ber vê yekê, taktîkek bi navê hevrêz-parvekirina bi gelemperî tê bikar anîn. Parvekirina hevrêziyê bi endezyariya meta-hînkar/optimîzatorê ve dihewîne da ku ew yek parametreyek ji modela bingehîn fêr bibe û dûv re tenê wê parametreyê li şûna hemî pîvanên din klon bike. Encam ev e ku pîvanên ku optimîzator xwedane bi parametreyên modelê ve girêdayî ne.