10 Algorithms Ionnsachadh Inneal as Fheàrr

Ged a tha sinn beò tro àm de ùr-ghnàthachadh iongantach ann an ionnsachadh innealan le luathachadh GPU, tha na pàipearan rannsachaidh as ùire gu tric (agus gu follaiseach) a’ nochdadh algorithms a tha deicheadan, ann an cuid de chùisean 70 bliadhna a dh’aois.

Dh’fhaodadh cuid a bhith a’ cumail a-mach gu bheil mòran de na dòighean as sine sin a’ tighinn a-steach don champa de ‘anailis staitistigeil’ seach ionnsachadh innealan, agus gum b’ fheàrr leotha tighinn gu ruige seo nuair a thàinig an roinn air ais dìreach gu 1957, leis an innleachd an Perceptron.

Leis an ìre gu bheil na h-algorithms as sine sin a’ toirt taic agus air am fighe a-steach do na gluasadan as ùire agus na prìomh leasachaidhean ann an ionnsachadh innealan, tha e na sheasamh connspaideach. Mar sin bheir sinn sùil air cuid de na blocaichean togail ‘clasaigeach’ a tha mar bhunait ris na h-innleachdan as ùire, a bharrachd air cuid de dh’ inntrigidhean nas ùire a tha a’ dèanamh tagradh tràth airson talla cliù AI.

1: Transformers

Ann an 2017 stiùir Google Research co-obrachadh rannsachaidh a thàinig gu crìch leis an pàipear Is e an aire a tha a dhìth ort. Thug an obair cunntas air ailtireachd ùr a bhrosnaich dòighean aire bho 'phìobaireachd' ann an còdachadh/dì-chòdachadh agus modalan lìonra ath-chuairteach gu teicneòlas cruth-atharrachail meadhanach annta fhèin.

Chaidh an dòigh-obrach a ghairm cruth-atharrachadh, agus bhon uair sin tha e air a thighinn gu bhith na dhòigh-obrach rèabhlaideach ann an Pròiseas Cànain Nàdarra (NLP), a’ toirt cumhachd, am measg mòran eisimpleirean eile, am modal cànain fèin-ghluasadach agus leanabh postair AI GPT-3.

Dh ’fhuasgail luchd-atharrachaidh an duilgheadas gu grinn tar-chur sreath, ris an canar cuideachd ‘cruth-atharrachadh’, a tha an sàs ann a bhith a’ giullachd sreathan cuir a-steach gu sreathan toraidh. Bidh cruth-atharrachaidh cuideachd a’ faighinn agus a’ riaghladh dàta ann an dòigh leantainneach, seach ann an batches sreathach, a’ ceadachadh ‘seasmhachd cuimhne’ nach eil ailtireachd RNN air an dealbhadh gus faighinn. Airson sealladh nas mionaidiche air cruth-atharraichean, thoir sùil air an artaigil iomraidh againn.

Eu-coltach ris na Recurrent Neural Networks (RNNn) a bha air tòiseachadh a’ faighinn smachd air rannsachadh ML ann an àm CUDA, dh’ fhaodadh ailtireachd Transformer a bhith furasta cuideachd. co-shìnte, a’ fosgladh an t-slighe gus dèiligeadh gu cinneasach ri corpas dàta fada nas motha na RNNn.

Cleachdadh mòr-chòrdte

Ghlac cruth-atharraichean mac-meanmna a’ phobaill ann an 2020 nuair a chaidh GPT-3 aig OpenAI a leigeil ma sgaoil, anns an robh clàr aig an àm sin. 175 billean crìochan. Chaidh an coileanadh iongantach seo a chuir thairis mu dheireadh le pròiseactan nas fhaide air adhart, leithid an 2021 release de Megatron-Turing NLG 530B aig Microsoft, a tha (mar a tha an t-ainm a’ moladh) a ’nochdadh còrr air 530 billean paramadair.

Loidhne-tìm de phròiseactan hyperscale Transformer NLP. Source: Microsoft

Tha ailtireachd cruth-atharrachaidh cuideachd air a dhol thairis bho NLP gu sealladh coimpiutair, a’ toirt cumhachd do a ginealach ùr de fhrèaman synthesis ìomhaighean leithid OpenAI's CLIP agus SLAB, a bhios a’ cleachdadh teacsa> mapadh àrainn ìomhaigh gus ìomhaighean neo-choileanta a chrìochnachadh agus ìomhaighean ùra a cho-chur bho raointean trèanaidh, am measg àireamh a tha a’ sìor fhàs de thagraidhean co-cheangailte.

Bidh DALL-E a’ feuchainn ri pàirt de dh’ ìomhaigh de mheirge Plato a chrìochnachadh. Stòr: https://openai.com/blog/dall-e/

2: Lìonraidhean Gineadach Nàimhdeil (GANs)

Ged a tha cruth-atharraichean air craoladh iongantach fhaighinn sna meadhanan tro bhith a’ sgaoileadh agus a’ gabhail ri GPT-3, tha an Lìonra ginealaich nàmhaid (GAN) air a thighinn gu bhith na bhrannd aithnichte ann fhèin, agus faodaidh e tighinn còmhla aig a’ cheann thall faireachdainn domhainn mar ghnìomhair.

An toiseach air a mholadh ann 2014 agus air a chleachdadh sa mhòr-chuid airson synthesis ìomhaighean, Lìonra Gineadach nàmhaid ailtireachd air a dhèanamh suas de a Gineadair agus Eadar-dhealachaidh. Bidh an Gineadair a’ dol tro mhìltean de dhealbhan ann an dàta, a’ feuchainn ri ath-chruthachadh. Airson gach oidhirp, bidh an Leth-bhreith a’ rangachadh obair a’ Ghineadair, agus a’ cur a’ Ghineadair air ais gu bhith a’ dèanamh nas fheàrr, ach às aonais sealladh sam bith air an dòigh san deach an ath-thogail roimhe a mhearachdachadh.

Stòr: https://developers.google.com/machine-learning/gan/gan_structure

Tha seo a’ toirt air a’ Ghineadair sgrùdadh a dhèanamh air iomadach slighe, an àite a bhith a’ leantainn nan alleys dall a dh’ fhaodadh a bhith air tighinn gu buil nam biodh an Leth-bhreith air innse dha càite an robh e a’ dol ceàrr (faic #8 gu h-ìosal). Mun àm a bhios an trèanadh seachad, tha mapa mionaideach agus farsaing de dhàimhean eadar puingean san t-seata dàta aig a’ Ghineadair.

Bhon phàipear Ag adhartachadh cothromachadh GAN le bhith a’ togail mothachadh spàsail: bidh frèam ùr a’ dol tro àite falaichte GAN a tha uaireannan dìomhair, a’ toirt seachad ionnstramaid freagairteach airson ailtireachd synthesis ìomhaigh. Stòr: https://genforce.github.io/eqgan/

Mar an ceudna, is e seo an diofar eadar a bhith ag ionnsachadh aon shiubhal humdrum gu meadhan Lunnainn, no a bhith a’ faighinn gu faiceallach. An t-Eòlas.

Is e an toradh seo cruinneachadh àrd-ìre de fheartan ann an àite falaichte a’ mhodail trèanaidh. Dh’fhaodadh gur e ‘duine’ an comharra semantach airson feart àrd-ìre, agus ma dh’ fhaodadh teàrnadh tro shònrachas co-cheangailte ris an fheart feartan ionnsaichte eile a lorg, leithid ‘fireann’ agus ‘boireann’. Aig ìrean nas ìsle faodaidh na fo-fheartan briseadh sìos gu, 'blonde', 'Caucasian', et al.

Tha an sàs cùis shònraichte ann an àite falaichte GANs agus frèaman còdaidh/dì-chòdaidh: a bheil an gàire air aodann boireann a ghineadh GAN na fheart ceangailte den ‘aithne’ aice san àite falaichte, no an e meur co-shìnte a th’ ann?

Aghaidhean air an gineadh le GAN bhon neach seodoesnotexist. Stòr: https://this-person-does-not-exist.com/en

Tha an dà bhliadhna a dh’ fhalbh air àireamh a tha a’ sìor fhàs de dh’ iomairtean rannsachaidh ùra a thoirt a-mach a thaobh seo, is dòcha a’ fuasgladh na slighe airson deasachadh aig ìre feart, stoidhle Photoshop airson àite falaichte GAN, ach aig an àm seo, tha mòran atharrachaidhean gu h-èifeachdach’ pacaidean uile no gun dad. Gu sònraichte, tha sgaoileadh EditGAN aig NVIDIA aig deireadh 2021 a’ coileanadh a ìre àrd de eadar-mhìneachadh anns an àite falaichte le bhith a’ cleachdadh masgaichean sgaradh semantach.

Cleachdadh mòr-chòrdte

A bharrachd air an com-pàirt aca (gu ìre mhath cuibhrichte) ann am bhideothan domhainn mòr-chòrdte, tha GANan stèidhichte air ìomhaigh / bhidio air a dhol am meud thar nan ceithir bliadhna a dh’ fhalbh, a ’toirt inntinn do luchd-rannsachaidh agus don phoball le chèile. Tha e na dhùbhlan cumail suas ris an ìre dòrainneach agus tricead fiosan ùra, ged a tha stòr GitHub Iarrtasan GAN sgoinneil ag amas air liosta iomlan a thoirt seachad.

Gu teòiridheach faodaidh Lìonraidhean Adversarial Generative feartan fhaighinn bho àrainn sam bith le deagh fhrèam, gabhail a-steach teacsa.

3: SVM

Thàinig e bho thùs ann 1963, Taic Vector Machine (SVM) na phrìomh algairim a bhios a’ nochdadh gu tric ann an rannsachadh ùr. Fo SVM, bidh vectaran a’ mapadh suidheachadh coimeasach puingean dàta ann an stòr-dàta, fhad ‘s a tha taic bidh vectaran a’ mìneachadh nan crìochan eadar diofar bhuidhnean, feartan, no feartan.

Bidh vectaran taic a’ mìneachadh nan crìochan eadar buidhnean. Stòr: https://www.kdnuggets.com/2016/07/support-vector-machines-simple-explanation.html

Canar a’ chrìoch toraidh a hyperplane.

Aig ìrean feart ìosal, tha an SVM dà-thaobhach (dealbh gu h-àrd), ach far a bheil àireamh nas àirde de bhuidhnean neo seòrsaichean aithnichte, thig e gu bhith trì-thaobhach.

Tha raon nas doimhne de phuingean agus de bhuidhnean a’ feumachdainn SVM trì-thaobhach. Tobar: https://cml.rhul.ac.uk/svm.html

Cleachdadh mòr-chòrdte

Leis gum faod taic Vector Machines dèiligeadh gu h-èifeachdach agus gu h-èifeachdach ri dàta àrd-mheudach de iomadh seòrsa, bidh iad a’ fàs suas gu farsaing thar grunn roinnean ionnsachaidh innealan, a’ gabhail a-steach lorg deepfake, seòrsachadh ìomhaigh, seòrsachadh cainnt fuath, Mion-sgrùdadh DNA agus ro-innse structar sluaigh, am measg mòran eile.

4: K-Means Clustering

Tha cruinneachadh san fharsaingeachd a ionnsachadh gun stiùireadh dòigh-obrach a tha ag amas air puingean dàta a sheòrsachadh troimhe tuairmse dùmhlachd, a’ cruthachadh mapa de sgaoileadh an dàta a thathar a’ sgrùdadh.

K-Means a’ cruinneachadh earrannan diadhachd, buidhnean agus coimhearsnachdan ann an dàta. Stòr: https://aws.amazon.com/blogs/machine-learning/k-means-clustering-with-amazon-sagemaker/

K-Means cruinneachadh air fàs mar am buileachadh as mòr-chòrdte den dòigh-obrach seo, a’ cìobaireachd puingean dàta gu ‘K Groups’ sònraichte, a dh’ fhaodadh a bhith a’ comharrachadh roinnean deamografach, coimhearsnachdan air-loidhne, no cruinneachadh dìomhair sam bith eile a tha a’ feitheamh ri lorg ann an dàta staitistigeil amh.

Bidh cruinneachaidhean ann an mion-sgrùdadh K-Means. Stòr: https://www.geeksforgeeks.org/ml-determine-the-optimal-value-of-k-in-k-means-clustering/

Is e luach K fhèin am bàillidh cinntiche ann an cleachdadh a’ phròiseis, agus ann a bhith a’ stèidheachadh an luach as fheàrr airson cruinneachadh. An toiseach, tha luach K air a shònrachadh air thuaiream, agus na feartan aige agus feartan vectar an coimeas ris na nàbaidhean aige. Thèid na nàbaidhean sin a tha nas coltaiche ris a’ phuing dàta leis an luach a chaidh a shònrachadh air thuaiream a shònrachadh don bhuidheann aige gu ath-aithriseach gus am bi an dàta air a h-uile buidheann a tha ceadaichte leis a’ phròiseas a thoirt seachad.

Nochdaidh a’ chuilbheart airson a’ mhearachd cheàrnagach, no ‘cosgais’ luachan eadar-dhealaichte am measg nan cruinneachaidhean an puing uilinn airson an dàta:

An ‘puing uilinn’ ann an graf chnuasachd. Stòr: https://www.scikit-yb.org/en/latest/api/cluster/elbow.html

Tha puing na h-uillinn coltach ri bun-bheachd ris an dòigh anns a bheil call a’ dol a-mach gu bhith a’ lughdachadh toradh aig deireadh seisean trèanaidh airson stòr-dàta. Tha e a’ riochdachadh na h-ìre aig nach eil tuilleadh eadar-dhealachaidh eadar buidhnean gu bhith follaiseach, a’ nochdadh an t-àm airson gluasad air adhart gu ìrean eile san loidhne-phìoban dàta, no gus aithris a thoirt air toraidhean.

Cleachdadh mòr-chòrdte

Tha K-Means Clustering, airson adhbharan follaiseach, na phrìomh theicneòlas ann am mion-sgrùdadh teachdaiche, leis gu bheil e a’ tabhann dòigh-obrach soilleir agus mìneachaidh gus meudan mòra de chlàran malairteach eadar-theangachadh gu lèirsinn deamografach agus ‘stiùirichean’.

Taobh a-muigh an tagraidh seo, thathas cuideachd a’ cleachdadh K-Means Clustering airson ro-innse maoim-slèibhe, roinn ìomhaighean meidigeach, synthesis ìomhaighean le GANs, seòrsachadh sgrìobhainnean, agus dealbhadh baile, am measg iomadh feum eile a dh’fhaodadh a bhith ann agus fìor.

5: Coille air thuaiream

Tha Random Forest na ionnsachadh ensemble dòigh-obrach a tha cuibheasachd an toradh bho raon de craobhan co-dhùnaidh gus ro-innse iomlan a stèidheachadh airson a’ bhuil.

Stòr: https://www.tutorialandexample.com/wp-content/uploads/2019/10/Decision-Trees-Root-Node.png

Ma tha thu air a sgrùdadh eadhon cho beag ri bhith a’ coimhead an Back to the Future trilogy, tha craobh cho-dhùnaidh fhèin gu math furasta a bhun-bheachdachadh: tha grunn shlighean a’ laighe romhad, agus bidh gach slighe a’ dol a-mach gu buil ùr anns a bheil tuilleadh shlighean comasach.

In ionnsachadh daingneachaidh, is dòcha gun till thu air ais bho fhrith-rathad agus tòiseachadh a-rithist bho shuidheachadh nas tràithe, ach tha craobhan co-dhùnaidh a’ gealltainn an turas.

Mar sin tha an algairim Random Forest gu ìre mhòr na sgaoileadh-geall airson co-dhùnaidhean. Canar 'air thuaiream' ris an algairim oir tha e a 'dèanamh Ad hoc taghaidhean agus beachdan gus tuigse fhaighinn air an meadhain suim nan toraidhean bhon raon craoibhe co-dhùnaidh.

Leis gu bheil e a’ toirt aire do ghrunn fhactaran, faodaidh dòigh-obrach Random Forest a bhith nas duilghe a thionndadh gu grafaichean brìoghmhor na craobh co-dhùnaidh, ach tha coltas ann gum bi e gu math nas cinneasaiche.

Tha craobhan co-dhùnaidh fo ùmhlachd ath-shuidheachadh, far a bheil na toraidhean a gheibhear sònraichte don dàta agus gun a bhith buailteach a bhith coitcheann. Tha taghadh neo-riaghailteach Random Forest de phuingean dàta a’ dol an-aghaidh a’ chlaonadh seo, a’ drileadh troimhe gu gluasadan riochdachail brìoghmhor agus feumail san dàta.

Ath-thionndadh craobh co-dhùnadh. Stòr: https://scikit-learn.org/stable/auto_examples/tree/plot_tree_regression.html

Cleachdadh mòr-chòrdte

Coltach ri mòran de na h-algorithms air an liosta seo, mar as trice bidh Random Forest ag obair mar sheòrsa ‘tràth’ agus sìoltachan dàta, agus mar sin bidh e gu cunbhalach a’ bàrr ann am pàipearan rannsachaidh ùra. Am measg eisimpleirean de chleachdadh Random Forest tha Synthesis ìomhaigh ath-shuidheachadh magnetach, Ro-innse prìs Bitcoin, sgaradh cunntais, seòrsachadh teacsa agus lorg foill cairt creideis.

Leis gur e algorithm ìre ìosal a th’ ann an Random Forest ann an ailtireachd ionnsachadh innealan, faodaidh e cuideachd cur ri coileanadh dhòighean ìre ìosal eile, a bharrachd air algorithms fradharc, a’ toirt a-steach Inductive Clustering, Cruth-atharrachadh feart, seòrsachadh de sgrìobhainnean teacsa cleachdadh feartan gann, agus a’ taisbeanadh Pìoban.

6: Naive Bayes

Còmhla ri tuairmse dùmhlachd (faic 4, gu h-àrd), a naive Bayes Tha classifier na algairim cumhachdach ach an ìre mhath aotrom a tha comasach air coltachd a thomhas stèidhichte air feartan àireamhaichte dàta.

Dàimhean feart ann an clasaiche Bayes naive. Stòr: https://www.sciencedirect.com/topics/computer-science/naive-bayes-model

Tha am facal ‘naïve’ a’ toirt iomradh air a’ bharail ann an Teòirim Bayes gu bheil feartan neo-cheangailte, ris an canar neo-eisimeileachd chumha. Ma ghabhas tu ris a’ bheachd seo, chan eil coiseachd is bruidhinn mar thunnaig gu leòr gus dearbhadh gu bheil sinn a’ dèiligeadh ri tunnag, agus chan eilear a’ gabhail ri barailean ‘follaiseach’ ro-ùine.

Bhiodh an ìre seo de dhian-chomas acadaimigeach agus sgrùdaidh air a dhol thairis air far a bheil ‘mothachadh cumanta’ ri fhaighinn, ach tha e na inbhe luachmhor nuair a thathar a’ dol thairis air an iomadh mì-chinnt agus co-dhàimhean neo-cheangailte a dh’ fhaodadh a bhith ann an stòr-dàta ionnsachadh inneal.

Ann an lìonra Bayesian tùsail, tha feartan fo ùmhlachd gnìomhan sgòraidh, a’ gabhail a-steach fad tuairisgeul as lugha agus Sgòr Bayesian, a dh’ fhaodadh cuingealachaidhean a chuir air an dàta a thaobh nan ceanglaichean measta a lorgar eadar na puingean dàta, agus an stiùireadh anns a bheil na ceanglaichean sin a’ sruthadh.

Air an làimh eile, bidh seòrsaiche Bayes naive ag obair le bhith a’ gabhail ris gu bheil feartan nì sònraichte neo-eisimeileach, agus an uairsin a’ cleachdadh teòirim Bayes gus coltachd nì sònraichte obrachadh a-mach, stèidhichte air na feartan aige.

Cleachdadh mòr-chòrdte

Tha sìoltachain Naive Bayes air an deagh riochdachadh ann an ro-innse galair agus seòrsachadh sgrìobhainnean, sìoladh spama, seòrsachadh faireachdainn, siostaman molaidh, agus lorg foill, am measg iarrtasan eile.

7: K- Na nàbaidhean as fhaisge (KNN)

Air a mholadh an toiseach le Sgoil Leigheas Adhair Feachd Adhair na SA ann 1951, agus a bhith a’ gabhail ris a’ bhathar-cruaidh coimpiutaireachd as ùire ann am meadhan an 20mh linn, K- Na nàbaidhean as fhaisge (KNN) na algairim leanmhainn a tha fhathast a’ nochdadh gu follaiseach thairis air pàipearan acadaimigeach agus iomairtean rannsachaidh ionnsachadh innealan san roinn phrìobhaideach.

Canar ‘an neach-ionnsachaidh leisg’ ri KNN, leis gu bheil e gu h-iomlan a’ sganadh stòr-dàta gus measadh a dhèanamh air na dàimhean eadar puingean dàta, seach a bhith ag iarraidh trèanadh air modal ionnsachaidh inneal làn-chuimseach.

Buidheann KNN. Stòr: https://scikit-learn.org/stable/modules/neighbors.html

Ged a tha KNN caol a thaobh ailtireachd, tha an dòigh rianail aige a’ cur iarrtas sònraichte air gnìomhachd leughaidh / sgrìobhaidh, agus faodaidh a bhith ga chleachdadh ann an stòran-dàta fìor mhòr a bhith na dhuilgheadas às aonais teicneòlasan co-cheangailte leithid Mion-sgrùdadh Prìomh Cho-phàirt (PCA), a dh’ atharraicheas stòran-dàta iom-fhillte agus àrd. steach buidhnean riochdachaidh gum faod KNN a dhol thairis le nas lugha oidhirp.

A sgrùdadh o chionn ghoirid rinn sinn measadh air èifeachdas agus eaconamaidh grunn algoirmean air an robh e mar dhleastanas ro-innse am fàg neach-obrach companaidh, a’ lorg gu robh an KNN septuagenarian fhathast nas fheàrr na farpaisich nas ùire a thaobh cruinneas agus èifeachdas ro-innse.

Cleachdadh mòr-chòrdte

Airson a h-uile sìmplidheachd mòr-chòrdte a thaobh bun-bheachd agus coileanadh, chan eil KNN an sàs anns na 1950n - chaidh atharrachadh gu bhith na dòigh-obrach le barrachd fòcas air DNN ann am moladh 2018 le Oilthigh Stàite Pennsylvania, agus tha e fhathast na phrìomh phròiseas aig ìre thràth (no inneal anailis iar-ghiollachd) ann am mòran fhrèaman ionnsachaidh inneal fada nas iom-fhillte.

Ann an diofar rèiteachaidhean, chaidh KNN a chleachdadh no airson dearbhadh ainm-sgrìobhte air-loidhne, seòrsachadh ìomhaigh, mèinnearachd teacsa, ro-innse bàrr, agus aithneachadh aghaidh, a bharrachd air tagraidhean agus corporaidean eile.

Siostam aithneachaidh aghaidh stèidhichte air KNN ann an trèanadh. Source: https://pdfs.semanticscholar.org/6f3d/d4c5ffeb3ce74bf57342861686944490f513.pdf

8: Pròiseas Co-dhùnaidh Markov (MDP)

Frèam matamataigeach air a thoirt a-steach leis an neach-matamataig Ameireaganach Richard Bellman ann 1957, Is e Pròiseas Co-dhùnaidh Markov (MDP) aon de na blocaichean as bunaitiche de ionnsachadh daingneachaidh ailtireachd. Mar algairim bun-bheachdail ann fhèin, chaidh atharrachadh gu àireamh mhòr de algorithms eile, agus bidh e a’ nochdadh a-rithist gu tric anns a’ bhàrr a th’ ann an-dràsta de rannsachadh AI/ML.

Bidh MDP a’ sgrùdadh àrainneachd dàta le bhith a’ cleachdadh a mheasadh air a staid làithreach (ie ‘far a bheil e san dàta) gus co-dhùnadh dè an t-ionad dàta a thèid a sgrùdadh an ath rud.

Stòr: https://www.sciencedirect.com/science/article/abs/pii/S0888613X18304420

Bheir Pròiseas Co-dhùnaidh Markov bunaiteach prìomhachas do bhuannachd faisg air ùine thairis air amasan fad-ùine nas ion-mhiannaichte. Air an adhbhar seo, mar as trice tha e air fhighe a-steach do cho-theacsa ailtireachd poileasaidh nas coileanta ann an ionnsachadh ath-neartachaidh, agus gu tric bidh e fo smachd nithean cuibhrichte leithid duais lasaichte, agus caochladairean àrainneachd eile a chuireas casg air bho bhith a’ ruith gu amas sa bhad gun a bhith a’ beachdachadh air a’ bhuil nas fharsainge a thathar ag iarraidh.

Cleachdadh mòr-chòrdte

Tha bun-bheachd ìre ìosal MDP farsaing ann an rannsachadh agus cleachdadh gnìomhach de ionnsachadh innealan. Tha e air a mholadh airson Siostaman dìon tèarainteachd IoT, buain èisg, agus ro-innse margaidh.

A bharrachd air a freagarrachd follaiseach gu tàileasg agus geamannan eile a tha gu tur sreath, tha MDP cuideachd na neach-farpais nàdurrach airson an trèanadh modhan-obrach air siostaman robotics, mar a chì sinn anns a’ bhidio gu h-ìosal.

9: Teirm Tricead-Inverse Document Tricead

Tricead teirm (TF) a’ roinn an àireamh de thursan a nochdas facal ann an sgrìobhainn leis an àireamh iomlan de dh’fhaclan anns an sgrìobhainn sin. Mar sin am facal ròn tha tricead teirm de 0.001 a’ nochdadh aon uair ann an artaigil mìle facal. Leis fhèin, tha TF gu ìre mhòr gun fheum mar chomharradh air cudromachd teirm, leis gu bheil artaigilean gun bhrìgh (leithid a, agus, a ', agus it) làmh an uachdair.

Gus luach brìoghmhor fhaighinn airson teirm, bidh Inverse Document Frequency (IDF) a’ tomhas TF facal thairis air grunn sgrìobhainnean ann an stòr-dàta, a’ sònrachadh ìre ìosal gu tricead fìor àrd. stad-fhacail, leithid artaigilean. Tha na vectaran feart a thig às air an gnàthachadh gu luachan slàn, le cuideam iomchaidh air a thoirt do gach facal.

Tha TF-IDF a’ toirt cuideam air iomchaidheachd bhriathran stèidhichte air tricead thar grunn sgrìobhainnean, le tachartas nas teirce na chomharradh air follaiseachd. Stòr: https://moz.com/blog/inverse-document-frequency-and-the-importance-of-uniqueness

Ged a tha an dòigh-obrach seo a’ cur casg air faclan a tha cudromach gu semantach a bhith air an call mar a-muigh, chan eil a bhith a 'toirt a-steach an cuideam tricead a' ciallachadh gu fèin-ghluasadach gu bheil teirm tricead ìseal chan eil a mach, oir tha cuid do nithibh tearc agus gun luach. Mar sin feumaidh teirm tricead ìosal a luach a dhearbhadh anns a’ cho-theacsa ailtireil nas fharsainge le bhith a’ nochdadh (eadhon aig tricead ìosal gach sgrìobhainn) ann an grunn sgrìobhainnean anns an t-seata dàta.

A dh ’aindeoin a aois, TF-IDF na dhòigh cumhachdach is mòr-chòrdte airson pasan sìolaidh tùsail ann am frèaman Pròiseas Cànain Nàdarra.

Cleachdadh mòr-chòrdte

Leis gu bheil TF-IDF air pàirt a ghabhail co-dhiù ann an leasachadh algairim PageRank Google a tha gu ìre mhòr falaichte thairis air an fhichead bliadhna a dh’ fhalbh, tha e air a thighinn gu bhith gabhail ris gu math farsaing mar innleachd SEO làimhseachail, a dh’ aindeoin John Mueller’s 2019 diabhol cho cudromach sa tha e do thoraidhean rannsachaidh.

Mar thoradh air an dìomhaireachd timcheall air PageRank, chan eil fianais shoilleir ann gu bheil TF-IDF chan eil an-dràsta na innleachd èifeachdach airson àrdachadh ann an rangachadh Google. Loisg còmhradh am measg proifeiseantaich IT o chionn ghoirid a’ nochdadh tuigse mòr-chòrdte, ceart no nach eil, gum faodadh droch dhìol an teirm sin leantainn gu suidheachadh SEO nas fheàrr (ged a bharrachd casaidean mu mhì-ghnàthachadh monopoly agus cus sanasachd cuir às do chrìochan na teòiridh seo).

10: Teàrnadh Gradient Stochastic

Teàrnadh caisead Stochastic (SGD) na dhòigh a tha a’ sìor fhàs mòr-chòrdte airson trèanadh mhodalan ionnsachadh innealan a bharrachadh.

Tha teàrnadh caisead fhèin na dhòigh air an leasachadh a tha modal a’ dèanamh rè trèanadh a bharrachadh agus a thomhas às deidh sin.

San t-seagh seo, tha ‘gradient’ a’ comharrachadh leathad sìos (seach ìre datha, faic an dealbh gu h-ìosal), far a bheil a’ phuing as àirde den ‘chnoc’, air an taobh chlì, a’ riochdachadh toiseach a’ phròiseas trèanaidh. Aig an ìre seo chan eil am modail fhathast air an dàta gu lèir fhaicinn eadhon aon uair, agus chan eil e air gu leòr ionnsachadh mu dhàimhean eadar an dàta gus cruth-atharrachaidhean èifeachdach a thoirt gu buil.

Teàrnadh caisead air seisean trèanaidh FaceSwap. Chì sinn gu bheil an trèanadh air a dhol air adhart airson ùine san dàrna leth, ach mu dheireadh fhuair e air ais sìos an caisead a dh’ ionnsaigh co-ghluasad iomchaidh.

Tha a’ phuing as ìsle, air an làimh dheis, a’ riochdachadh co-ghluasad (an ìre aig a bheil am modail cho èifeachdach sa tha e a-riamh a’ faighinn fo na cuingeadan agus na suidheachaidhean a chaidh a chuir an sàs).

Tha an caisead ag obair mar chlàr agus ro-innse airson an eadar-dhealachaidh eadar an ìre mearachd (dè cho ceart ‘s a tha am modail air na dàimhean dàta a mhapadh an-dràsta) agus na cuideaman (na roghainnean a bheir buaidh air an dòigh san ionnsaich am modail).

Faodar an clàr adhartais seo a chleachdadh airson fiosrachadh a clàr ìrean ionnsachaidh, pròiseas fèin-ghluasadach a tha ag iarraidh air an ailtireachd a bhith nas gràineil agus nas mionaidiche mar a bhios mion-fhiosrachadh tràth neo-shoilleir a’ tionndadh gu dàimhean soilleir agus mapaichean. Gu dearbh, tha call caisead a’ toirt seachad mapa dìreach ann an tìde de far am bu chòir an trèanadh a dhol air adhart, agus mar a bu chòir dha a dhol air adhart.

Is e an ùr-ghnàthachadh aig Stochastic Gradient Decent gu bheil e ag ùrachadh crìochan a’ mhodail air gach eisimpleir trèanaidh gach ath-aithris, a bhios mar as trice a’ luathachadh an t-slighe gu co-ghluasad. Mar thoradh air dàta dàta hyperscale a thighinn air adhart anns na bliadhnachan mu dheireadh, tha fèill mhòr air SGD o chionn ghoirid mar aon dòigh a dh’ fhaodadh a bhith a’ dèiligeadh ris na cùisean solarachaidh a tha ri thighinn.

Air an làimh eile, tha SGD buaidhean àicheil airson sgèileadh feart, agus dh’ fhaodadh gum bi feum air barrachd ath-aithrisean gus an aon toradh a choileanadh, a dh’ fheumas dealbhadh a bharrachd agus crìochan a bharrachd, an coimeas ri teàrnadh caisead cunbhalach.

Cleachdadh mòr-chòrdte

Air sgàth cho furasta ‘s a tha e, agus a dh’ aindeoin na h-uireasbhaidhean a th ’ann, tha SGD air a thighinn gu bhith mar an algairim optimization as mòr-chòrdte airson a bhith a’ freagairt lìonraidhean neural. Is e aon rèiteachadh de SGD a tha a’ faighinn làmh an uachdair ann am pàipearan rannsachaidh AI/ML ùra an roghainn den Measadh Mion-mhionaid Freagarrach (ADAM, air a thoirt a-steach. ann 2015) optimizer.

Bidh ADAM ag atharrachadh an ìre ionnsachaidh airson gach paramadair gu dinamach (‘ìre ionnsachaidh atharrachail’), a bharrachd air a bhith a’ toirt a-steach toraidhean bho ùrachaidhean roimhe seo a-steach don rèiteachadh às deidh sin (‘momentum’). A bharrachd air an sin, faodar a rèiteachadh gus innleachdan nas fhaide air adhart a chleachdadh, leithid Momentum Nesterov saor an asgaidh.

Ach, tha cuid a’ cumail a-mach gum faod cleachdadh momentum cuideachd ADAM (agus algoirmean coltach ris) a luathachadh gu a co-dhùnadh fo-optimal. Coltach ris a’ mhòr-chuid de dh’ iomall sèididh na roinne rannsachaidh ionnsachadh inneal, is e obair a tha a’ dol air adhart a th’ ann an SGD.

Air fhoillseachadh an toiseach 10 Gearran 2022. atharraichte 10 Gearran 20.05 EET - cruth.