Hvað er Meta-Learning?

Hvað er Meta-Learning?

Eitt af ört vaxandi sviðum rannsókna í vélanámi er svið meta-nám. Meta-nám, í vélanámssamhengi, er notkun vélrænna reiknirita til að aðstoða við þjálfun og hagræðingu annarra vélanámslíkana. Þar sem meta-learning er að verða sífellt vinsælli og fleiri meta-learning tækni er í þróun, er gagnlegt að hafa skilning á því hvað meta-learning er og hafa skilning á hinum ýmsu leiðum sem hægt er að beita því. Skoðum hugmyndirnar á bakvið meta-nám, tegundir meta-náms, auk nokkurra leiða sem hægt er að nota meta-nám.

Hugtakið meta-learning var búið til af Donald Maudsley til að lýsa ferli þar sem fólk byrjar að móta það sem það lærir og verður „í auknum mæli stjórnað af skynjunarvenjum, rannsóknum, námi og vexti sem það hefur innleitt“. Síðar myndu vitsmunafræðingar og sálfræðingar lýsa meta-námi sem „að læra hvernig á að læra“.

Fyrir vélanámsútgáfu meta-náms er almenn hugmynd um að „læra að læra“ beitt á gervigreindarkerfi. Í gervigreindum skilningi er meta-learning geta gervigreindrar vélar til að læra hvernig á að framkvæma ýmis flókin verkefni, taka meginreglurnar sem hún notaði til að læra eitt verkefni og beita því í önnur verkefni. Gervigreind kerfi þarf venjulega að þjálfa til að framkvæma verkefni með því að ná tökum á mörgum litlum undirverkefnum. Þessi þjálfun getur tekið langan tíma og gervigreind umboðsmenn flytja ekki auðveldlega þekkinguna sem lærist við eitt verkefni yfir í annað verkefni. Að búa til meta-námslíkön og tækni getur hjálpað gervigreind að læra að alhæfa námsaðferðir og öðlast nýja færni hraðar.

Tegundir Meta-náms

Optimizer Meta-Learning

Meta-nám er oft notað til að hámarka frammistöðu taugakerfis sem þegar er til. Optimizer meta-námsaðferðir virka venjulega með því að fínstilla ofbreytur annars tauganets til að bæta árangur grunntauganetsins. Niðurstaðan er sú að marknetið ætti að verða betra í að sinna því verkefni sem það er þjálfað í. Eitt dæmi um meta-learning optimizer er notkun netkerfis til að bæta sig hallandi lækkun niðurstöður.

Fá-Shots Meta-Learning

Nokkur skot meta-learning nálgun er þar sem djúpt tauganet er hannað sem er fær um að alhæfa frá þjálfunargagnasöfnum yfir í óséð gagnapakka. Dæmi um flokkun með fáum skotum er svipað og venjulegt flokkunarverkefni, en í staðinn eru gagnasýnin heil gagnasöfn. Líkanið er þjálfað í mörgum mismunandi námsverkefnum/gagnasettum og síðan er það fínstillt fyrir hámarksárangur á fjölda þjálfunarverkefna og óséðra gagna. Í þessari nálgun er einu þjálfunarsýni skipt upp í marga flokka. Þetta þýðir að hvert æfingasýni/gagnasett gæti hugsanlega verið samsett úr tveimur flokkum, samtals 4 skot. Í þessu tilviki mætti ​​lýsa heildarþjálfunarverkefninu sem 4 skotum 2 flokka flokkunarverkefni.

Í fá-skotanámi er hugmyndin sú að einstök þjálfunarsýni séu naumhyggjuleg og að netið geti lært að bera kennsl á hluti eftir að hafa séð örfáar myndir. Þetta er svipað og hvernig barn lærir að greina hluti eftir að hafa séð aðeins nokkrar myndir. Þessi nálgun hefur verið notuð til að búa til aðferðir eins og einn-skot kynslóða líkön og minni aukið taugakerfi.

Metric Meta-Learning

Metal-based meta-learning er nýting tauganeta til að ákvarða hvort mælikvarði sé notaður á áhrifaríkan hátt og hvort netið eða netin nái markmiðinu. Metra-meta-nám er svipað og fá-skot nám að því leyti að aðeins nokkur dæmi eru notuð til að þjálfa netið og láta það læra mælirýmið. Sama mælikvarðinn er notaður á fjölbreyttu sviðinu og ef netkerfin víkja frá mæligildinu eru þau talin vera biluð.

Endurtekið Meta-nám líkan

Endurtekin meta-nám er beiting meta-námsaðferða á endurtekið taugakerfi og svipuð langtímaminnisnet. Þessi tækni virkar með því að þjálfa RNN/LSTM líkanið til að læra gagnasett í röð og nota síðan þetta þjálfaða líkan sem grunn fyrir annan nemanda. Meta-nemandinn tekur til sérstakrar hagræðingaralgríms sem var notað til að þjálfa upphafslíkanið. Hin erfða færibreyta meta-nemandans gerir honum kleift að frumstilla sig fljótt og renna saman, en samt vera fær um að uppfæra fyrir nýjar aðstæður.

Hvernig virkar Meta-nám?

Nákvæm leið sem meta-nám fer fram er mismunandi eftir fyrirmynd og eðli verkefnisins. Hins vegar, almennt, meta-nám verkefni felur í sér að afrita yfir færibreyturnar fyrsta netsins í færibreytur annars nets/fínstillingar.

Það eru tvö þjálfunarferli í meta-námi. Meta-námslíkanið er venjulega þjálfað eftir að nokkur þrep af þjálfun á grunnlíkaninu hafa verið framkvæmd. Eftir fram-, afturábak- og hagræðingarskrefin sem þjálfa grunnlíkanið er framfaraþjálfunarpassinn framkvæmdur fyrir hagræðingarlíkanið. Til dæmis, eftir þrjú eða fjögur skref af þjálfun á grunnlíkaninu, er metatap reiknað. Eftir að metatapið er reiknað eru hallarnir reiknaðir fyrir hvern meta-færibreytu. Eftir að þetta gerist eru meta-færibreytur í fínstillingu uppfærðar.

Einn möguleiki til að reikna út metatapið er að klára framvirka þjálfunarpassa upphafslíkansins og sameina síðan tapið sem þegar hefur verið reiknað. Meta-optimizer gæti jafnvel verið annar meta-nemandi, þó að á ákveðnum tímapunkti verði að nota stakan fínstillingu eins og ADAM eða SGD.

Mörg djúpnámslíkön geta haft hundruð þúsunda eða jafnvel milljón breytur. Að búa til meta-nema sem hefur alveg nýtt sett af færibreytum væri reikningslega dýrt og af þessum sökum er venjulega notuð aðferð sem kallast hnitmiðlun. Hnitmiðlun felur í sér að hanna meta-nemandann/fínstillinguna þannig að hann læri eina færibreytu úr grunnlíkaninu og klónar svo bara þá færibreytu í stað allra hinna færibreytanna. Niðurstaðan er sú að færibreyturnar sem fínstillingin býr yfir eru ekki háðar breytum líkansins.