Kas yra metamokymasis?

Kas yra metamokymasis?

Viena iš greičiausiai augančių mašininio mokymosi tyrimų sričių yra meta-mokymasis. Meta-mokymasis mašininio mokymosi kontekste yra mašininio mokymosi algoritmų naudojimas, padedantis mokyti ir optimizuoti kitus mašininio mokymosi modelius. Kadangi meta-mokymasis tampa vis populiaresnis ir kuriama daugiau meta-mokymosi metodų, pravartu suprasti, kas yra meta-mokymasis, ir suprasti įvairius būdus, kaip jį galima pritaikyti. Panagrinėkime meta-mokymosi idėjas, meta-mokymosi tipai, taip pat kai kurie meta-mokymosi panaudojimo būdai.

Terminą meta-mokymasis sugalvojo Donaldas Maudsley, kad apibūdintų procesą, kurio metu žmonės pradeda formuoti tai, ko išmoksta, „vis labiau kontroliuojami suvokimo, tyrinėjimo, mokymosi ir augimo įpročius, kuriuos įsisavino“. Vėliau kognityviniai mokslininkai ir psichologai meta mokymąsi apibūdino kaip „mokymąsi mokytis“.

Meta mokymosi mašininio mokymosi versijoje bendra „mokymosi mokytis“ idėja taikoma AI sistemoms. Dirbtinio intelekto prasme meta-mokymasis yra dirbtinai protingos mašinos gebėjimas išmokti atlikti įvairias sudėtingas užduotis, remiantis principais, kuriais ji išmoko vieną užduotį, ir pritaikant juos kitoms užduotims. Dirbtinio intelekto sistemos paprastai turi būti apmokytos, kad atliktų užduotį, įvaldant daug mažų papildomų užduočių. Šis mokymas gali užtrukti ilgai, o dirbtinio intelekto agentai nelengvai perkelia vienos užduoties metu įgytas žinias į kitą. Meta-mokymosi modelių ir metodų kūrimas gali padėti dirbtiniam intelektui išmokti apibendrinti mokymosi metodus ir greičiau įgyti naujų įgūdžių.

Meta mokymosi tipai

Optimizavimo metamokymasis

Meta-mokymasis dažnai naudojamas optimizuoti jau esamo neuroninio tinklo veikimą. Optimizavimo meta-mokymosi metodai paprastai veikia koreguodami kito neuroninio tinklo hiperparametrus, kad pagerintų bazinio neuroninio tinklo veikimą. Rezultatas yra toks, kad tikslinis tinklas turėtų geriau atlikti užduotį, dėl kurios jis mokomas. Vienas iš meta-mokymosi optimizatoriaus pavyzdžių yra tinklo naudojimas tobulėjimui gradiento nusileidimas rezultatai.

Keleto kadrų metamokymasis

Kelių kadrų meta-mokymosi metodas yra toks, kai yra sukurtas gilus neuroninis tinklas, kuris gali apibendrinti nuo mokymo duomenų rinkinių iki nematomų duomenų rinkinių. Kelių kadrų klasifikavimo pavyzdys yra panašus į įprastą klasifikavimo užduotį, tačiau vietoj to duomenų pavyzdžiai yra ištisi duomenų rinkiniai. Modelis yra apmokytas atlikti daugybę skirtingų mokymosi užduočių / duomenų rinkinių, o tada jis optimizuojamas, kad būtų pasiektas didžiausias našumas atliekant daugybę mokymo užduočių ir nematomų duomenų. Taikant šį metodą, vienas mokymo pavyzdys yra padalintas į kelias klases. Tai reiškia, kad kiekvienas mokymo pavyzdys / duomenų rinkinys gali būti sudarytas iš dviejų klasių, iš viso 4 kadrai. Šiuo atveju visa mokymo užduotis galėtų būti apibūdinta kaip 4 šūvių 2 klasių klasifikavimo užduotis.

Atliekant mokymąsi keliais kadrais, idėja yra ta, kad atskiri mokymo pavyzdžiai yra minimalistiniai ir kad tinklas gali išmokti atpažinti objektus pamatęs vos kelias nuotraukas. Tai panašu į tai, kaip vaikas išmoksta atskirti objektus, pamatęs vos porą paveikslėlių. Šis metodas buvo naudojamas kuriant tokius metodus kaip generatyviniai modeliai ir atminties papildomi neuroniniai tinklai.

Metrinis metamokymasis

Metrika pagrįstas metamokymasis yra neuroninių tinklų naudojimas siekiant nustatyti, ar metrika naudojama efektyviai ir ar tinklas ar tinklai pasiekia tikslinę metriką. Metrinis meta-mokymasis yra panašus į mokymąsi iš kelių kartų, nes tik keli pavyzdžiai naudojami tinklui mokyti ir metrinei erdvei išmokti. Ta pati metrika naudojama įvairiose srityse ir, jei tinklai skiriasi nuo metrikos, jie laikomi nesėkmingais.

Pasikartojantis modelio metamokymasis

Pasikartojančio modelio meta-mokymasis yra meta-mokymosi metodų taikymas pasikartojantiems neuroniniams tinklams ir panašiems ilgalaikės trumpalaikės atminties tinklams. Ši technika veikia treniruojant RNN/LSTM modelį, kad būtų galima nuosekliai mokytis duomenų rinkinio, o vėliau naudojant šį išmokytą modelį kaip pagrindą kitam besimokančiajam. Meta-mokytojas perima konkretų optimizavimo algoritmą, kuris buvo naudojamas mokant pradinį modelį. Paveldimas meta-learner parametrizavimas leidžia greitai inicijuoti ir susilieti, tačiau vis tiek gali atnaujinti naujus scenarijus.

Kaip veikia metamokymasis?

Tikslus meta-mokymosi būdas skiriasi priklausomai nuo modelio ir atliekamos užduoties pobūdžio. Tačiau apskritai meta-mokymosi užduotis apima parametrų kopijavimą pirmojo tinklo parametrus į antrojo tinklo / optimizatoriaus parametrus.

Yra du meta-mokymosi mokymo procesai. Meta-mokymosi modelis paprastai mokomas po to, kai buvo atlikti keli bazinio modelio mokymo etapai. Atlikus pirmyn, atgal ir optimizavimo žingsnius, kurie moko bazinį modelį, optimizavimo modeliui vykdomas treniruotės pirmyn. Pavyzdžiui, po trijų ar keturių bazinio modelio mokymo etapų apskaičiuojamas meta-nuostolis. Apskaičiavus meta nuostolius, apskaičiuojami kiekvieno metaparametro gradientai. Tai įvykus, optimizavimo priemonės metaparametrai atnaujinami.

Viena iš meta-nuostolių apskaičiavimo galimybių yra baigti pirminio modelio treniruotę ir tada sujungti jau apskaičiuotus nuostolius. Meta optimizavimo priemonė netgi gali būti kitas meta-mokytojas, nors tam tikru momentu reikia naudoti atskirą optimizavimo priemonę, pvz., ADAM arba SGD.

Daugelis giluminio mokymosi modelių gali turėti šimtus tūkstančių ar net milijonus parametrų. Sukurti meta-mokytoją, turintį visiškai naują parametrų rinkinį, būtų skaičiuojant brangu, todėl paprastai naudojama taktika, vadinama koordinačių pasidalijimu. Koordinačių bendrinimas apima meta-mokytojo / optimizatoriaus sukūrimą taip, kad jis išmoktų vieną parametrą iš bazinio modelio ir tada tik klonuotų tą parametrą vietoje visų kitų parametrų. Rezultatas yra toks, kad optimizatoriaus turimi parametrai nepriklauso nuo modelio parametrų.