X'inhu Meta-Learning?

X'inhu Meta-Learning?

Wieħed mill-oqsma ta 'riċerka li qed jikbru malajr fit-tagħlim tal-magni huwa l-qasam ta' meta-tagħlim. Meta-tagħlim, fil-kuntest tat-tagħlim tal-magni, huwa l-użu ta 'algoritmi tat-tagħlim tal-magni biex jassistu fit-taħriġ u l-ottimizzazzjoni ta' mudelli oħra ta 'tagħlim tal-magni. Hekk kif il-meta-tagħlim qed isir aktar u aktar popolari u aktar tekniki ta' meta-tagħlim qed jiġu żviluppati, huwa ta' benefiċċju li wieħed jifhem x'inhu l-meta-tagħlim u li jkollok sens tal-modi varji kif jista' jiġi applikat. Ejja neżaminaw l-ideat wara l-meta-tagħlim, tipi ta' meta-tagħlim, kif ukoll xi wħud mill-modi kif jista' jintuża l-meta-tagħlim.

It-terminu meta-tagħlim ġie maħluq minn Donald Maudsley biex jiddeskrivi proċess li bih in-nies jibdew isawru dak li jitgħallmu, u jsiru "aktar fil-kontroll tad-drawwiet ta 'perċezzjoni, inkjesta, tagħlim u tkabbir li jkunu internalizzati". Aktar tard, xjenzati u psikologi konjittivi jiddeskrivu l-meta-tagħlim bħala "titgħallem kif titgħallem".

Għall-verżjoni tat-tagħlim tal-magni tal-meta-tagħlim, l-idea ġenerali ta '"titgħallem kif titgħallem" hija applikata għas-sistemi AI. Fis-sens ta 'l-AI, il-meta-tagħlim huwa l-abbiltà ta' magna artifiċjalment intelliġenti biex titgħallem kif twettaq diversi kompiti kumplessi, tieħu l-prinċipji li użat biex titgħallem kompitu wieħed u tapplikah għal kompiti oħra. Is-sistemi AI tipikament iridu jiġu mħarrġa biex iwettqu kompitu permezz tal-ħakma ta 'ħafna sub-tasks żgħar. Dan it-taħriġ jista 'jieħu żmien twil u l-aġenti tal-AI ma jittrasferixxux faċilment l-għarfien miksub waqt kompitu wieħed għal kompitu ieħor. Il-ħolqien ta' mudelli u tekniki ta' meta-tagħlim jista' jgħin lill-AI titgħallem tiġġeneralizza metodi ta' tagħlim u tikseb ħiliet ġodda aktar malajr.

Tipi ta' Meta-Tagħlim

Meta-Tagħlim Optimizer

Il-meta-tagħlim spiss jintuża biex jottimizza l-prestazzjoni ta' netwerk newrali diġà eżistenti. Metodi ta 'meta-tagħlim Optimizer tipikament jiffunzjonaw billi jtejbu l-iperparametri ta' netwerk newrali differenti sabiex itejbu l-prestazzjoni tan-netwerk newrali bażi. Ir-riżultat huwa li n-netwerk fil-mira għandu jsir aħjar fit-twettiq tal-kompitu li qed jiġi mħarreġ fuqu. Eżempju wieħed ta 'meta-learning optimizer huwa l-użu ta' netwerk biex jittejjeb inżul gradjent riżultati.

Meta-Tagħlim Ftit-Shots

Approċċ ta 'meta-tagħlim ta' ftit shots huwa wieħed fejn huwa mfassal netwerk newrali profond li huwa kapaċi jiġġeneralizza mis-settijiet tad-dejta tat-taħriġ għal settijiet ta 'dejta li ma tidhirx. Eżempju ta' klassifikazzjoni ta' ftit shots huwa simili għal kompitu ta' klassifikazzjoni normali, iżda minflok, il-kampjuni tad-dejta huma settijiet ta' dejta sħaħ. Il-mudell huwa mħarreġ fuq bosta kompiti/settijiet ta' dejta differenti u mbagħad jiġi ottimizzat għall-aqwa prestazzjoni fuq il-bosta kompiti ta' taħriġ u data li ma tidhirx. F'dan l-approċċ, kampjun wieħed ta' taħriġ jinqasam fi klassijiet multipli. Dan ifisser li kull kampjun ta' taħriġ/sett ta' dejta jista' potenzjalment ikun magħmul minn żewġ klassijiet, għal total ta' 4-shots. F'dan il-każ, il-kompitu ta 'taħriġ totali jista' jiġi deskritt bħala kompitu ta 'klassifikazzjoni 4-shot 2-klassi.

F'tagħlim ta' ftit sparatura, l-idea hija li l-kampjuni tat-taħriġ individwali huma minimalisti u li n-netwerk jista 'jitgħallem jidentifika oġġetti wara li jkun ra biss ftit stampi. Dan huwa ferm simili kif tifel jitgħallem jiddistingwi l-oġġetti wara li jara biss ftit stampi. Dan l-approċċ intuża biex jinħolqu tekniki bħal mudelli ġenerattivi one-shot u netwerks newrali miżjuda bil-memorja.

Meta-Tagħlim Metriku

Meta-tagħlim ibbażat fuq il-metrika huwa l-użu ta 'netwerks newrali biex jiġi ddeterminat jekk metrika tkunx qed tintuża b'mod effettiv u jekk in-netwerk jew in-netwerks qed jolqtu l-metrika fil-mira. Il-meta-tagħlim metriku huwa simili għal tagħlim ta' ftit sparatura peress li jintużaw ftit eżempji biss biex iħarrġu n-netwerk u jġiegħlu jitgħallem l-ispazju metriku. L-istess metrika tintuża fid-dominju divers u jekk in-netwerks ivarjaw mill-metrika huma kkunsidrati li qed ifallu.

Meta-Tagħlim Mudell Rikorrenti

Il-meta-tagħlim tal-mudell rikorrenti huwa l-applikazzjoni ta 'tekniki ta' meta-tagħlim għal Netwerks Neurali Rikorrenti u n-netwerks simili tal-Memorja fit-Tul Qasira. Din it-teknika topera billi tħarreġ il-mudell RNN/LSTM biex titgħallem b'mod sekwenzjali sett ta' dejta u mbagħad tuża dan il-mudell imħarreġ bħala bażi għal student ieħor. Il-meta-learner jieħu abbord l-algoritmu ta 'ottimizzazzjoni speċifiku li ntuża biex iħarreġ il-mudell inizjali. Il-parametrizzazzjoni li tintiret tal-meta-learner tippermettilu jinizjalizza u jikkonverġi malajr, iżda xorta jkun jista' jaġġorna għal xenarji ġodda.

Kif jaħdem il-Meta-Learning?

Il-mod eżatt kif jitmexxa l-meta-tagħlim ivarja skont il-mudell u n-natura tal-kompitu li jkun hemm. Madankollu, b'mod ġenerali, kompitu ta 'meta-tagħlim jinvolvi l-ikkupjar fuq il-parametri tal-ewwel netwerk fil-parametri tat-tieni netwerk/l-ottimizzatur.

Hemm żewġ proċessi ta’ taħriġ fil-meta-tagħlim. Il-mudell ta' meta-tagħlim huwa tipikament imħarreġ wara li jkunu saru diversi passi ta' taħriġ fuq il-mudell bażi. Wara l-passi 'l quddiem, lura u ta' ottimizzazzjoni li jħarrġu l-mudell bażi, il-pass ta 'taħriġ 'il quddiem jitwettaq għall-mudell ta' ottimizzazzjoni. Pereżempju, wara tlieta jew erba' passi ta' taħriġ fuq il-mudell bażi, jiġi kkalkulat meta-telf. Wara li jiġi kkalkulat il-meta-telf, il-gradjenti jiġu kkalkulati għal kull meta-parametru. Wara li jseħħ dan, il-meta-parametri fl-ottimizzatur jiġu aġġornati.

Possibbiltà waħda għall-kalkolu tal-meta-telf hija li jintemm il-pass tat-taħriġ 'il quddiem tal-mudell inizjali u mbagħad jgħaqqad it-telf li diġà ġie kkalkulat. Il-meta-optimizer jista 'saħansitra jkun meta-learner ieħor, għalkemm f'ċertu punt għandu jintuża ottimizzatur diskret bħal ADAM jew SGD.

Ħafna mudelli ta 'tagħlim profond jista' jkollhom mijiet ta 'eluf jew saħansitra miljuni ta' parametri. Il-ħolqien ta' meta-learner li għandu sett ta' parametri kompletament ġdid ikun jiswa komputazzjoni, u għal din ir-raġuni, tipikament tintuża tattika msejħa qsim tal-koordinati. Il-qsim tal-koordinati jinvolvi l-inġinerija tal-meta-learner/optimizer sabiex titgħallem parametru wieħed mill-mudell bażi u mbagħad tikklona biss dak il-parametru minflok il-parametri l-oħra kollha. Ir-riżultat huwa li l-parametri li jippossjedi l-ottimizzatur ma jiddependux fuq il-parametri tal-mudell.