Dè a th’ ann am Meta-Ionnsachadh?

Dè a th’ ann am Meta-Ionnsachadh?

Is e aon de na raointean rannsachaidh as luaithe a tha a’ fàs ann an ionnsachadh innealan raon de meta-ionnsachadh. Is e meta-ionnsachadh, ann an co-theacsa ionnsachadh inneal, cleachdadh algoirmean ionnsachaidh inneal gus cuideachadh le trèanadh agus optimachadh mhodalan ionnsachaidh inneal eile. Leis gu bheil meta-ionnsachadh a’ sìor fhàs mòr-chòrdte agus barrachd dhòighean meta-ionnsachadh gan leasachadh, tha e buannachdail tuigse a bhith agad air dè a th’ ann am meat-ionnsachadh agus mothachadh a bhith agad air na diofar dhòighean anns an gabh a chleachdadh. Dèanamaid sgrùdadh air na beachdan air cùl meta-ionnsachadh, sheòrsaichean de meta-ionnsachadh, a bharrachd air cuid de na dòighean anns am faodar meta-ionnsachadh a chleachdadh.

Chaidh am facal meta-ionnsachadh a chosnadh le Dòmhnall Maudsley airson cunntas a thoirt air pròiseas leis am bi daoine a’ tòiseachadh a’ cumadh na dh’ ionnsaich iad, a’ fàs “nas motha ann an smachd air cleachdaidhean tuigse, ceasnachaidh, ionnsachaidh, agus fàs a tha iad air an taobh a-staigh”. Nas fhaide air adhart, bhiodh luchd-saidheans inntinneil agus saidhgeòlaichean a’ toirt cunntas air meta-ionnsachadh mar “ionnsachadh mar a dh’ ionnsaicheas iad ”.

Airson an dreach ionnsachadh inneal de meta-ionnsachadh, tha am beachd coitcheann air “ionnsachadh mar a dh’ ionnsaicheas tu ”air a chuir an sàs ann an siostaman AI. Ann an seagh AI, is e meta-ionnsachadh comas inneal tuigseach gu h-ealanta ionnsachadh mar a nì e diofar ghnìomhan iom-fhillte, a’ gabhail nam prionnsapalan a chleachd e airson aon ghnìomh ionnsachadh agus a chur an sàs ann an gnìomhan eile. Mar as trice feumaidh siostaman AI a bhith air an trèanadh gus gnìomh a choileanadh tro mhaighstireachd air mòran fo-ghnìomhan beaga. Faodaidh an trèanadh seo ùine mhòr a thoirt agus cha bhith riochdairean AI gu furasta a’ gluasad an eòlais a chaidh ionnsachadh aig aon ghnìomh gu gnìomh eile. Le bhith a’ cruthachadh mhodalan agus dhòighean-ionnsachaidh meta cuidichidh AI le bhith ag ionnsachadh dòighean ionnsachaidh coitcheann agus sgilean ùra fhaighinn nas luaithe.

Seòrsan Meta-Ionnsachaidh

Meta-ionnsachadh Optimizer

Bithear a’ cleachdadh meta-ionnsachadh gu tric gus coileanadh lìonra neural a tha ann mar-thà a bharrachadh. Mar as trice bidh modhan meta-ionnsachaidh Optimizer ag obair le bhith a’ tweameters hyperparameters de lìonra neural eadar-dhealaichte gus coileanadh an lìonra neural bunaiteach a leasachadh. Mar thoradh air an sin, bu chòir don lìonra targaid a bhith nas fheàrr air a bhith a’ coileanadh na h-obrach air a bheil e air a thrèanadh. Is e aon eisimpleir de optimizer meta-ionnsachaidh cleachdadh lìonra airson leasachadh sliochd caisead toraidhean.

Beagan-Shots Meta-ionnsachadh

Is e dòigh-obrach meata-ionnsachaidh beagan dhealbhan aon far a bheil lìonra neural domhainn air a innleachadh a tha comasach air gnàthachadh bho na stòran-dàta trèanaidh gu stòran-dàta nach fhacas a-riamh. Tha eisimpleir de sheòrsachadh beagan dhealbhan coltach ri gnìomh seòrsachaidh àbhaisteach, ach an àite sin, tha na sampallan dàta nan stòran-dàta slàn. Tha am modail air a thrèanadh air iomadh gnìomh ionnsachaidh/set-dàta eadar-dhealaichte agus an uairsin tha e air a bharrrachadh airson àrd-choileanadh air an iomadh gnìomh trèanaidh agus dàta nach fhacas roimhe. Anns an dòigh-obrach seo, tha aon sampall trèanaidh air a roinn ann an grunn chlasaichean. Tha seo a’ ciallachadh gum faodadh gach sampall trèanaidh/seata dàta a bhith air a dhèanamh suas de dhà chlas, airson 4-dhealbhan gu h-iomlan. Anns a’ chùis seo, dh’ fhaodadh an obair trèanaidh iomlan a bhith air a mhìneachadh mar ghnìomh seòrsachaidh clas 4-shot 2.

Ann an ionnsachadh le glè bheag de dhealbhan, is e am beachd gu bheil na sampallan trèanaidh fa leth glè bheag agus gum faod an lìonra ionnsachadh gus nithean aithneachadh às deidh dhaibh dìreach beagan dhealbhan fhaicinn. Tha seo glè choltach ri mar a dh’ ionnsaicheas pàiste eadar-dhealachadh a dhèanamh air nithean às deidh dha dìreach dealbh no dhà fhaicinn. Chaidh an dòigh-obrach seo a chleachdadh gus dòighean a chruthachadh leithid modalan ginealach aon-dhealbh agus lìonraidhean neural le àrdachadh cuimhne.

Meta-ionnsachadh meatrach

Is e meat-ionnsachadh stèidhichte air meatrach a bhith a’ cleachdadh lìonraidhean neural gus faighinn a-mach a bheil meatrach ga chleachdadh gu h-èifeachdach agus a bheil an lìonra no na lìonraidhean a’ bualadh air an targaid meatrach. Tha meata-ionnsachadh meatrach coltach ri ionnsachadh le glè bheag de dhealbhan leis nach eil ach beagan eisimpleirean air an cleachdadh gus an lìonra a thrèanadh agus iarraidh air an àite meatrach ionnsachadh. Tha an aon mheatrach air a chleachdadh thairis air an raon eadar-mheasgte agus ma tha na lìonraidhean eadar-dhealaichte bhon mheatrach thathas den bheachd gu bheil iad a’ fàiligeadh.

Modail ath-chuairteach Meta-ionnsachadh

Is e meta-ionnsachadh modail ath-chuairteach a bhith a’ cleachdadh dhòighean meta-ionnsachaidh gu Lìonraidhean Neural Ath-chuairteach agus na lìonraidhean Cuimhne Geàrr-ùine Fad-ùine coltach ris. Bidh an dòigh seo ag obrachadh le bhith a’ trèanadh a’ mhodail RNN/LSTM gus seata dàta ionnsachadh agus an uairsin a’ cleachdadh a’ mhodail trèanaidh seo mar bhunait do neach-ionnsachaidh eile. Bidh an neach-ionnsachaidh meta a’ gabhail ris an algairim optimization sònraichte a chaidh a chleachdadh gus a’ chiad mhodail a thrèanadh. Tha parameterization oighreachail an meta-neach-ionnsachaidh a’ toirt comas dha tòiseachadh gu sgiobalta agus tighinn còmhla, ach fhathast comasach air ùrachadh airson suidheachaidhean ùra.

Ciamar a tha Meta-Ionnsachadh ag obair?

Bidh an dearbh dhòigh anns a bheilear a’ dèanamh meta-ionnsachadh ag atharrachadh a rèir a’ mhodail agus nàdar na h-obrach a tha ri làimh. Ach, san fharsaingeachd, gnìomh meta-ionnsachaidh gabhail a-steach lethbhreac thairis air na crìochan den chiad lìonra a-steach do pharaimearan an dàrna lìonra / an optimizer.

Tha dà phròiseas trèanaidh ann am meta-ionnsachadh. Mar as trice bidh am modal meta-ionnsachaidh air a thrèanadh às deidh grunn cheuman trèanaidh air a’ mhodail bhunaiteach a bhith air a dhèanamh. Às deidh na ceumannan air adhart, air ais, agus optimization a bhios a ’trèanadh a’ mhodail bunaiteach, thèid am pas trèanaidh air adhart a dhèanamh airson a ’mhodail optimization. Mar eisimpleir, às deidh trì no ceithir ceumannan trèanaidh air a’ mhodail bhunaiteach, thathas a’ tomhas meta-call. Às deidh an meta-call a bhith air a thomhas, tha na caiseadan air an tomhas airson gach meta-parameter. Às deidh seo tachairt, thèid na meta-parameters anns an optimizer ùrachadh.

Is e aon chothrom airson a’ mheata-call obrachadh a-mach crìoch a chuir air pas trèanaidh air adhart a’ chiad mhodail agus an uairsin na call a chaidh a thomhas mar-thà a chur còmhla. Dh’ fhaodadh an meta-optimizer a bhith eadhon na mheata-ionnsachaidh eile, ach aig àm sònraichte feumar optimizer air leth mar ADAM no SGD a chleachdadh.

Faodaidh ceudan de mhìltean no eadhon milleanan de pharaimearan a bhith aig mòran de mhodalan ionnsachaidh domhainn. Bhiodh e daor a thaobh àireamhachadh a bhith a’ cruthachadh meta-neach-ionnsachaidh aig a bheil seata de pharamadairean gu tur ùr, agus air an adhbhar seo, thathas a’ cleachdadh innleachd ris an canar co-roinneadh mar as trice. Tha roinneadh co-òrdanachaidh a’ toirt a-steach innleadaireachd an meta-neach-ionnsachaidh/optimizer gus an ionnsaich e aon paramadair bhon mhodail bhunaiteach agus an uairsin dìreach clones am paramadair sin an àite a h-uile paramadair eile. Mar thoradh air an sin, chan eil na paramadairean a tha aig an optimizer an urra ri paramadairean a’ mhodail.