10 Nga Tikanga Ako Miihini Pai rawa atu

Ahakoa kei te ora tatou i roto i te wa o te auahatanga whakamiharo i roto i te ako miihini whakatere GPU, ko nga pepa rangahau hou e whakaatu pinepine ana (me te tino rongonui) nga algorithms he tekau tau, i etahi keehi 70 tau.

Ko etahi ka kii ko te nuinga o enei tikanga tawhito ka taka ki roto i te puni o te 'tatari tatauranga' kaua ki te ako miihini, me te pai ake kia tae mai ano te rangai ki te tau 1957 anake, me te te hanga o te Perceptron.

I runga i te nui o te tautoko a enei algorithm tawhito me te uru ki roto i nga ahuatanga hou me nga whanaketanga hopu-upoko i roto i te ako miihini, he tuunga whakataetae. Na, me titiro ki etahi o nga poraka hangahanga 'matarohia' e pou here ana i nga mahi hou hou, me etahi o nga whakaurunga hou kei te tuku tono moata mo te whare rongonui o AI.

1: Kaihuri

I te tau 2017 i arahi a Google Research i te mahi tahi rangahau ka mutu i te pepa Ko te aro noa e hiahia ana koe. I whakaraupapahia e te mahi he hoahoanga hou e whakatairanga ana tikanga aro mai i te 'paipa' i roto i te encoder/decoder me nga tauira whatunga auau ki te hangarau hurihuri matua i a raatau ake.

I tapaina te huarahi hiko, a kua noho hei tikanga hurihuri i roto i te Tukatuka Reo Maori (NLP), e whakakaha ana, i roto i era atu tauira maha, te tauira reo autoregressive me AI panui-tamariki GPT-3.

He pai te whakatau a Transformers i te raru o whakawhitinga raupapa, e kiia ana ko te 'whakawhitinga', e nohoia ana me te tukatuka o nga raupapa whakauru ki nga raupapa whakaputa. Ka whiwhi, ka whakahaere hoki te kaitahuri i nga raraunga i runga i te tikanga haere tonu, kaua i roto i nga roopu raupapa, ka taea te 'maumahara mau' kaore i hangaia e nga hoahoanga RNN. Mo te tirohanga whanui mo nga huringa, tirohia to tatou tuhinga tohutoro.

He rereke ki te Recurrent Neural Networks (RNNs) i timata ki te whakahaere i nga rangahau ML i te waa CUDA, he ngawari hoki te hoahoanga a Transformer. whakarara, e whakatuwhera ana i te huarahi ki te whakatutuki whai hua i te kohinga raraunga nui ake i nga RNN.

Whakamahinga rongonui

I mauhia e nga Transformers nga whakaaro o te iwi i te tau 2020 me te tukunga o te OpenAI's GPT-3, i whakanuia he rekoata pakaru. 175 piriona tawhā. Ko tenei whakatutukitanga tino miharo i whakapourihia e nga kaupapa o muri mai, penei i te 2021 tuku o Megatron-Turing NLG 530B a Microsoft, e (ko te ingoa e kii ana) kei runga i te 530 piriona tawhā.

He rarangi wa mo nga kaupapa Transformer NLP hyperscale. Source: Microsoft

Kua whiti ano te hoahoanga whakawhiti mai i te NLP ki te tirohanga rorohiko, ka whakakaha a whakatupuranga hou o nga anga whakahiato ahua penei i a OpenAI topenga a SLAB, e whakamahi ana i te tuhinga>whakamahere rohe atahanga ki te whakaoti i nga whakaahua kaore i oti me te whakahiato i nga whakaahua hou mai i nga waahi kua whakangungua, i roto i te piki haere o nga tono e pa ana.

Ka ngana a DALL-E ki te whakaoti i tetahi waahanga o te ahua o te pupuhi o Plato. Puna: https://openai.com/blog/dall-e/

2: Whatunga Tauiwi Whakatupu (GANs)

Ahakoa kua riro i nga kaiwhakawhitiwhiti nga panui panui whakamiharo na roto i te tuku me te tango i te GPT-3, ko te Whatunga Tauiwi Whakatupu (GAN) kua noho hei waitohu moohio i tona ake mana, a tera pea ka uru mai hohonu hei kupumahi.

Tuatahi te whakaaro i roto i te 2014 me te whakamahi tuatahi mo te whakahiato whakaahua, he Whatunga Tauiwi Whakatupuranga hoahoanga he mea tito a Generator me te Kaiwhakahāwea. Ka huri te Kaihanga i roto i nga mano o nga whakaahua i roto i te huingararaunga, e ngana ana ki te hanga ano. Mo ia nganatanga, ka tohuhia e te Kaihanga Kaihanga nga mahi a te Kaihanga, ka whakahoki ano i te Kaihanga Kaihanga kia pai ake, engari kaore he maarama ki te huarahi i hee ai te hangahanga o mua.

Puna: https://developers.google.com/machine-learning/gan/gan_structure

Na tenei ka kaha te Kaihanga ki te torotoro i te maha o nga huarahi, kaua ki te whai i nga huarahi matapo tera pea ka puta mena kua korerohia e te Kaihanga Kaihanga kei hea te he (tirohia te #8 i raro nei). Ka mutu te whakangungu, kei te Kaihanga he mapi amiki me te matawhānui o nga hononga i waenga i nga tohu o te huingararaunga.

Mai i te pepa Te Whakapai ake i te GAN Equilibrium ma te Whakanuia i te Maaramatanga Mokowā: ka huri te anga pukapuka hou i roto i te waahi ngaro o te GAN i etahi wa, e whakarato ana i nga taputapu urupare mo te hoahoanga whakahiato whakaahua. Puna: https://genforce.github.io/eqgan/

Ma te whakataurite, koinei te rereketanga i waenga i te ako i tetahi haerenga humdrum kotahi ki te pokapū o Raanana, ki te whakapau kaha ranei. Te Matauranga.

Ko te hua ko te kohinga teitei o nga ahuatanga i roto i te waahi huna o te tauira kua whakangunguhia. Ko te tohu oro mo tetahi ahuatanga taumata teitei ko te 'tangata', engari ko te hekenga mai i nga ahuatanga e pa ana ki te ahuatanga ka kitea etahi atu ahuatanga ako, penei i te 'tane' me te 'wahine'. I nga taumata iti ka pakaru nga waahanga iti ki te, 'kakaho', 'Caucasian', me era atu.

Ko te whanoke he take rongonui i roto i te waahi huna o nga GAN me nga anga mahi whakawaehere/whakawetewaehere: ko te menemene i runga i te kanohi wahine i hangaia e te GAN he ahua mau o tona 'tuakiri' i te waahi huna, he peka whakarara ranei?

Ko nga kanohi i hangaia e te GAN mai i tenei tangata. Puna: https://this-person-does-not-exist.com/en

I roto i nga tau e rua kua pahure ake nei kua piki ake te maha o nga kaupapa rangahau hou mo tenei kaupapa, tera pea e para ana i te huarahi mo te taumata-a-ahuatanga, te whakatika ahua-Photohok mo te waahi huna o te GAN, engari i tenei wa, he maha nga huringa e whai hua ana ' katoa, kore noa ranei. Ina koa, ko te tukunga EditGAN a NVIDIA i te mutunga o te 2021 ka tutuki a taumata teitei o te whakamaori i roto i te waahi huna ma te whakamahi i nga kanohi wehewehenga kupu.

Whakamahinga rongonui

I tua atu i ta raatau whakaurunga (tino iti) ki nga riipene riipene riipene rongonui, kua piki haere nga GAN whakaahua/ataata-ataata i roto i nga tau e wha kua hipa, he mea whakamiharo nga kairangahau me te iwi whanui. Ko te mau tonu ki te reiti whakapouri me te auau o nga putanga hou he wero, ahakoa ko te putunga putunga GitHub Nga tono GAN Awesome ko te whai ki te whakarato i tetahi rarangi matawhānui.

Ka taea e Generative Adversarial Networks i roto i te ariā te tango i nga ahuatanga mai i tetahi rohe kua oti te hanga, tae atu ki te kuputuhi.

3: SVM

I ahu mai i roto i te 1963, Miihini Vector Tautoko Ko (SVM) he hātepee matua e tipu ana i roto i nga rangahau hou. I raro i te SVM, ka mahere nga vectors i te ahua o nga tohu raraunga i roto i te huingararaunga, engari tautoko ka tohua e nga vectors nga rohenga i waenga i nga roopu rereke, nga ahuatanga, nga ahuatanga ranei.

Ka tautuhia e nga vectors tautoko nga rohenga i waenga i nga roopu. Puna: https://www.kdnuggets.com/2016/07/support-vector-machines-simple-explanation.html

Ko te rohe i ahu mai ka kiia ko a wakarererangi.

I nga taumata ahua iti, ko te SVM toenga takirua (whakaahua i runga ake nei), engari ki te nui ake te maha o nga roopu, momo momo ranei, ka noho e toru-rahi.

Ko te huinga hohonu o nga tohu me nga roopu e tika ana kia toru-ahu te SVM. Puna: https://cml.rhul.ac.uk/svm.html

Whakamahinga rongonui

I te mea ka taea e nga Miihini Vector tautoko te whakatika tika me te agnostically ki te whakatika i nga raraunga ahu-nui o te maha o nga momo, ka tipu haere puta noa i nga momo waahanga ako miihini, tae atu ki rapunga hohonu, whakarōpū whakaahua, whakarōpūtanga korero kino, Tātaritanga DNA a matapae hanganga taupori, i roto i te maha atu.

4: K-Means Clustering

Ko te whakarōpūtanga i te nuinga he ako kore e tirotirohia huarahi e whai ana ki te whakarōpū i nga tohu raraunga whakatau tata kiato, te hanga mapi mo te tohatoha o nga raraunga e rangahaua ana.

K-Means te whakahiato i nga waahanga atua, nga roopu me nga hapori i roto i nga raraunga. Puna: https://aws.amazon.com/blogs/machine-learning/k-means-clustering-with-amazon-sagemaker/

K-Means Clustering kua noho te tino whakatinanatanga o tenei huarahi, ko te whangai i nga tohu raraunga ki roto i nga 'Rōpū K' motuhake, e tohu ana pea i nga waahanga taupori, hapori ipurangi, tetahi atu whakahiato ngaro pea e tatari ana kia kitea i roto i nga raraunga tatauranga mata.

Ka puta nga roopu i roto i te tātaritanga K-Means. Puna: https://www.geeksforgeeks.org/ml-determine-the-optimal-value-of-k-in-k-means-clustering/

Ko te uara K tonu te take whakatau i te whaipainga o te tukanga, me te whakarite i te uara tino pai mo te tautau. I te tuatahi, ko te uara K kua tohua matapōkeretia, me ona ahuatanga me ona ahuatanga vector ka whakaritea ki ona hoa tata. Ko nga hoa tata e tino rite ana ki te tohu raraunga me te uara kua tohatoha matapōkeretia ka tautapahia ki tana kahui kia tae noa ki te tukunga o nga raraunga i nga whakarōpūtanga katoa e whakaaetia ana e te tukanga.

Ko te maataki mo te hapa tapawha, te 'utu' ranei o nga uara rereke i waenga i nga tautau ka whakaatu he ira tuke mo nga raraunga:

Ko te 'ira tuke' i roto i te kauwhata tautau. Puna: https://www.scikit-yb.org/en/latest/api/cluster/elbow.html

He rite te ariā o te tohu tuke ki te ahua o te ngaronga ki te heke haere i te mutunga o te whakangungu mo te huinga raraunga. E tohu ana i te waahi kaore e kitea he wehewehenga i waenga i nga roopu, e tohu ana i te waa ki te neke atu ki nga waahanga o muri mai i roto i te paipa raraunga, ki te kore ranei e whakaatu i nga kitenga.

Whakamahinga rongonui

Ko te K-Means Clustering, mo nga take e tino kitea ana, he hangarau tuatahi i roto i te tātari kiritaki, na te mea he huarahi maamaa me te whakamarama hei whakamaori i te maha o nga rekoata arumoni ki nga tirohanga taupori me nga 'arahi'.

I waho o tenei tono, kei te mahi ano a K-Means Clustering mo matapae horo whenua, wehewehe whakaahua hauora, te whakahiato whakaahua me nga GAN, whakarōpūtanga tuhinga, a whakamahere taone, i roto i te maha atu o nga whakamahinga kaha me nga whakamahinga pono.

5: Ngahere tupurangi

Random Forest is an ako ensemble tikanga e whakataurite ana i te hua mai i te huinga o rakau whakatau ki te whakarite i te matapae whanui mo te putanga.

Puna: https://www.tutorialandexample.com/wp-content/uploads/2019/10/Decision-Trees-Root-Node.png

Mena kua rangahauhia e koe ahakoa he iti noa te maataki i te Hoki ki te Future trilogy, he ngawari noa te whakaaro o te rakau whakatau: he maha nga huarahi kei mua i a koe, ka peka atu ia ara ki tetahi putanga hou, kei roto hoki etahi atu huarahi ka taea.

In te whakapakari i te ako, ka hoki whakamuri koe i tetahi huarahi ka timata ano mai i te tuunga o mua, engari ka u tonu nga rakau whakatau ki o raatau haerenga.

No reira ko te Random Forest algorithm he tino horahanga-pepeti mo nga whakatau. Ko te algorithm e kiia ana he 'tupurangi' na te mea ka hanga Tuhinga kowhiringa me nga tirohanga kia mohio ai koe ki nga tau waenga te huinga o nga hua mai i te rarangi rakau whakatau.

I te mea ka whai whakaaro ki te maha o nga mea, he uaua ake te huri ki nga kauwhata whai kiko ki te huarahi Ngahere Random, engari ka nui ake te hua.

Ko nga rakau whakatau ka kaha ki te whakakii, ko nga hua ka puta he raraunga-motuhake me te kore pea e whaanui. Ko te kowhiringa noa a Random Forest o nga tohu raraunga ka whawhai i tenei ahuatanga, ka keri ki nga ahuatanga whai kiko me te whai hua i roto i nga raraunga.

Te whakahekenga rakau whakatau. Puna: https://scikit-learn.org/stable/auto_examples/tree/plot_tree_regression.html

Whakamahinga rongonui

Pērā i te maha o ngā hātepe i roto i tēnei rārangi, ko te Random Forest te nuinga o te mahi hei "taataata" me te tātari raraunga, na reira ka puta mai i roto i nga pepa rangahau hou. Ko etahi tauira o te whakamahi Ngahere Random Te Whakakotahitanga Atahanga Resonance Magnetic, Matapae utu Bitcoin, wehewehenga tatauranga, whakarōpūtanga kuputuhi a rapunga tinihanga kaari nama.

I te mea ko te Random Forest he algorithm taumata-iti i roto i nga hoahoanga ako miihini, ka taea hoki e ia te whai waahi ki te mahi o etahi atu tikanga taumata-iti, tae atu ki nga huringa whakakitenga, tae atu ki Huihuinga Inductive, Huringa Huringa, te whakarōpūtanga o nga tuhinga tuhinga te whakamahi i nga waahanga iti, a whakaatu Pipeline.

6: Naive Bayes

Kua honoa ki te whakatau tata kiato (tirohia 4, runga ake), a Bayes kuware Ko te whakarōpū he algorithm kaha engari he ngawari noa e taea ana te whakatau tata i nga tupono i runga i nga ahuatanga tatau o te raraunga.

Whakaatuhia nga hononga i roto i te whakarōpūtanga o Bayes. Puna: https://www.sciencedirect.com/topics/computer-science/naive-bayes-model

Ko te kupu 'naïve' e pa ana ki te whakapae i roto Te kaupapa a Bayes ko nga ahuatanga kaore i te hono, e mohiotia ana ko mana motuhake. Ki te whai koe i tenei whakaaro, ko te hikoi me te korero penei i te parera kare e ranea ki te whakatau he parera taatau, a, kaore he whakapae 'mohio' ka tangohia i mua i te wa.

Ko tenei taumata o te kaha o te matauranga me te whakatewhatewha ka nui rawa atu i te waahi e waatea ana te 'whakaaro mohio', engari he paerewa whai hua ina takahia te maha o nga rangirua me nga hononga kore e hono ana kei roto i te huinga raraunga ako miihini.

I roto i te whatunga Bayesian taketake, kei raro nga ahuatanga nga mahi tohu, tae atu ki te iti te roa o te whakaahuatanga me te Te piro Bayesian, ka taea te whakatau here i runga i nga raraunga i runga i nga hononga whakatau tata ka kitea i waenga i nga tohu raraunga, me te ahunga e rere ai enei hononga.

Ko te whakarōpū Bayes naive, he rereke, ka mahi ma te whakaaro he mea motuhake nga ahuatanga o tetahi mea, ka whakamahi i te kaupapa a Bayes ki te tatau i te tupono o tetahi mea, i runga i ona ahuatanga.

Whakamahinga rongonui

Ko nga whiriwhiringa Naive Bayes he pai te whakaatu i roto matapae mate me te whakarōpūtanga tuhinga, tātari pāme, whakarōpūtanga whakaaro, pūnaha tūtohu, a kitenga tinihanga, i roto i era atu tono.

7: K- Neighbors Tata (KNN)

Tuatahi i tonohia e te US Air Force School of Aviation Medicine i roto i te 1951, me te whai waahi ki nga taputapu rorohiko hou o waenganui o te rautau 20, K-Tatata tata Ko (KNN) he hātepee hiroki e kitea tonutia ana puta noa i nga pepa matauranga me nga kaupapa rangahau miihini a te waahanga motuhake.

Ko te KNN kua kiia ko 'te ako mangere', na te mea ka tino tirotirohia e ia he huingararaunga kia taea ai te arotake i nga hononga i waenga i nga tohu raraunga, kaua ki te tono whakangungu i tetahi tauira ako miihini.

He whakarōpū KNN. Puna: https://scikit-learn.org/stable/modules/neighbors.html

Ahakoa he kikokore te hangahanga o te KNN, ko tana huarahi nahanaha he tono nui mo nga mahi panui/tuhi, a ka raru pea te whakamahi i roto i nga huingararaunga nui ki te kore nga hangarau taapiri penei i te Principal Component Analysis (PCA), ka taea te huri i nga huingararaunga matatini me te nui. ki roto whakarōpū māngai ka taea e KNN te whakawhiti me te iti o te kaha.

A ako tata i arotakehia te whaihuatanga me te ohanga o te maha o nga algorithms i mahi ki te matapae mena ka wehe tetahi kaimahi i tetahi kamupene, i te kitenga ko te KNN septuagenarian i noho pai ake i nga kaiwhaiwhai hou ake i runga i te tika me te whai hua matapae.

Whakamahinga rongonui

Mo tana tino ngawari o te ariā me te mahi, kaore a KNN i mau i nga tau 1950 - kua urutau ki roto. he huarahi e arotahi ana ki te DNN i roto i te tono a te Whare Wananga o Pennsylvania State mo te tau 2018, ka noho tonu hei kaupapa moata moata (he taputapu tātari i muri i te tukatuka) i roto i nga anga ako miihini tino uaua.

I roto i nga momo whirihoranga, kua whakamahia a KNN mo manatoko hainatanga ipurangi, whakarōpū whakaahua, keri kuputuhi, matapae hua, a āhukahuka kanohi, i tua atu i etahi atu tono me nga kaporeihana.

He punaha tohu kanohi i runga i te KNN i te whakangungu. Source: https://pdfs.semanticscholar.org/6f3d/d4c5ffeb3ce74bf57342861686944490f513.pdf

8: Tukanga Whakatau Markov (MDP)

He anga pangarau i whakaurua e Richard Bellman te tohunga pangarau o Amerika i roto i te 1957, Ko te Tukanga Whakatau Markov (MDP) tetahi o nga poraka tino taketake o te whakapakari i te ako hoahoanga. He hātepe hātepe ariā i tōna ake tika, kua urutau ki roto i te maha o etahi atu hātepe, ka hoki mai ano i roto i nga hua o naianei o te rangahau AI/ML.

Ka torotoro a MDP i tetahi taiao raraunga ma te whakamahi i tana arotakenga o tona ahuatanga o naianei (arā, 'kei hea' kei roto i te raraunga) hei whakatau ko tehea node o nga raraunga ka tuhurahia a muri ake nei.

Puna: https://www.sciencedirect.com/science/article/abs/pii/S0888613X18304420

Ko te Tukanga Whakatau a Markov ka aro nui ki nga painga mo te wa roa i runga ake i nga whaainga mo te wa roa. Mo konei, i te nuinga o te wa ka whakauruhia ki roto i te horopaki o te hoahoanga kaupapa here matawhānui ake i roto i te ako whakakaha, a he maha tonu nga wa ka pa ki nga mea iti penei i te utu utu, me etahi atu taurangi taiao whakarereke e kore ai e tere ki te whainga tonu me te kore e whakaaro ki te putanga whanui e hiahiatia ana.

Whakamahinga rongonui

Ko te ariā taumata-iti a MDP kua horapa i roto i te rangahau me te whakangao kaha o te ako miihini. Kua tonohia mo Nga punaha tiaki haumaru IoT, te hauhake ika, a matapae maakete.

Haunga tona kitea te whakamahinga ki te chess me etahi atu keemu tino raupapa, ko te MDP he whakataetae maori mo te whakangungu tikanga o nga punaha robotics, ka kite tatou i te ataata i raro nei.

9: Tuhinga Auaumoka-Tuhinga Kōaro

Auautanga Wā (TF) ka wehewehe i te maha o nga wa ka puta te kupu ki roto i te tuhinga ki te tapeke o nga kupu o taua tuhinga. Koia te kupu hiri Ko te putanga kotahi i roto i te tuhinga mano-kupu he 0.001 te auau. Ko TF anake, he koretake te nuinga hei tohu mo te hiranga o te kupu, na te mea ko nga tuhinga koretake (penei i te a, a, te, a it) rangatira.

Ki te whiwhi i tetahi uara whai kiko mo tetahi kupu, ka tatauhia e te Inverse Document Frequency (IDF) te TF o tetahi kupu puta noa i nga tuhinga maha i roto i te huingararaunga, ka tautapa i te reanga iti ki te auau teitei. kupu whakamutu, penei i nga tuhinga. Ko nga huaweke ahua ka puta ka whakatauritehia ki nga uara katoa, me nga kupu kua tohua he taumaha tika.

Ka whakataimaha e TF-IDF te whaitakenga o nga kupu i runga i te auautanga puta noa i te maha o nga tuhinga, me te mea he iti ake te puta he tohu o te hiranga. Puna: https://moz.com/blog/inverse-document-frequency-and-the-importance-of-uniqueness

Ahakoa ko tenei huarahi e kore e ngaro nga kupu whakahirahira Tuhinga ka whai mai, ko te huri i te taumaha auau ehara i te mea ko te kupu auau iti e kore he onge, no te mea he onge etahi mea a horekau. No reira me whakaatu te kupu auau iti i tona uara i roto i te horopaki hoahoanga whanui ma te whakaatu (ahakoa he iti te auau mo ia tuhinga) i roto i te maha o nga tuhinga kei te huingararaunga.

Ahakoa tona tau, Ko te TF-IDF he tikanga kaha me te rongonui mo nga paahi tātari tuatahi i roto i nga anga Tukatuka Reo Tukatuka.

Whakamahinga rongonui

Na te mea kua whai waahi a TF-IDF ki te whakawhanaketanga o te algorithm PageRank nui a Google i roto i nga tau e rua tekau kua hipa, kua riro tino whaanuitia hei rauhanga SEO manipulative, ahakoa te 2019 a John Mueller whakahē o tona hiranga ki nga hua rapu.

Na te mea huna a PageRank, karekau he taunakitanga marama ko TF-IDF e kore i tenei wa he huarahi whai hua mo te pikinga o nga rangatira o Google. Te tahu ahi kōrero I roto i nga tohunga ngaio IT i enei ra kua tohuhia he maarama rongonui, he tika, he kore ranei, tera pea ka hua tonu te mahi kino ki te tuunga SEO (ahakoa he taapiri ko nga whakapae mo te mahi kino kotahi a pānuitanga nui whakapouri i nga rohe o tenei ariā).

10: Whakaheke Rōnaki Stochastic

Whakaheke Rōnaki Stochastic (SGD) he tikanga rongonui mo te whakapai i te whakangungu o nga tauira ako miihini.

Ko te Descent Gradient ake he tikanga mo te arotau me te ine i muri mai i nga whakapainga e mahia ana e tetahi tauira i te wa e whakangungu ana.

I roto i tenei tikanga, ko te 'rōnaki' e tohu ana i te hekenga whakararo (kaore i te karaehe i runga i te kara, tirohia te ahua o raro), kei reira te pito teitei o te 'puke', kei te taha maui, e tohu ana i te timatanga o te mahi whakangungu. I tenei wa kaore ano te tauira kia kite i te katoa o nga raraunga ahakoa kotahi, kaore ano kia nui te ako mo nga hononga i waenga i nga raraunga hei whakaputa i nga huringa whai hua.

He heke rōnaki i runga i te wā whakangungu FaceSwap. Ka kite tatou kua roa te wa o te whakangungu i te haurua tuarua, engari i te mutunga kua hoki mai ano ki raro i te rōnaki ki te whakakotahitanga pai.

Ko te pito iti rawa, kei te taha matau, e tohu ana i te whakakotahitanga (ko te waahi e whai hua ana te tauira ka eke ki raro i nga herenga me nga whakaritenga kua whakatauhia).

Ka noho te rōnaki hei rekoata me te matapae mo te rereketanga i waenga i te reiti hapa (pehea te tika o te tauira kua mapi i nga hononga raraunga) me nga taumahatanga (nga tautuhinga e awe ana i te huarahi e ako ai te tauira).

Ka taea te whakamahi i tenei rekoata o te ahunga whakamua ki te korero a te hōtaka reiti akoranga, he tukanga aunoa e kii ana i te hoahoanga kia marama ake, kia tino tika i te mea ka huri nga korero moata moata ki nga hononga maamaa me nga mahere. Ko te tikanga, ko te ngaronga rōnaki he mapi tika i roto i te waa mo te haere o te whakangungu a muri ake nei, me pehea te haere.

Ko te mea hou o Stochastic Gradient Descent he whakahou i nga tawhā o te tauira mo ia tauira whakangungu mo ia whitiwhitinga, e tere haere ana te haerenga ki te whakakotahitanga. Na te taenga mai o nga huingararaunga hyperscale i nga tau tata nei, kua piki te rongonui o te SGD i na tata nei hei huarahi hei whakatika i nga take e whai ake nei.

I tetahi atu taha, kei a SGD nga paanga kino mo te whakatikatika i nga ahuatanga, a tera pea ka nui ake nga whitiwhitinga kia tutuki ai te hua kotahi, me whakarite mahere taapiri me etahi atu tawhā, ka whakatauritea ki te Descent Gradient auau.

Whakamahinga rongonui

Na te kaha o tana whirihora, ahakoa o ona ngoikoretanga, kua noho a SGD te algorithm arotautanga tino rongonui mo te whakauru i nga whatunga neural. Ko tetahi whirihoranga o te SGD e kaha haere ana i roto i nga pepa rangahau AI/ML hou ko te kowhiringa o te Adaptive Moment Estimation (ADAM, i whakaurua i roto i te 2015) kaiwhakamaori.

Ka urutau a ADAM i te reiti ako mo ia tawhā ('reeti ako urutau'), me te whakauru i nga hua mai i nga whakahoutanga o mua ki te whirihoranga o muri ('momentum'). I tua atu, ka taea te whirihora ki te whakamahi i nga mahi hou o muri mai, penei Nesterov Momentum.

Heoi ano, ko etahi e kii ana ka taea ano e te whakamahi o te torohaki te tere o te ADAM (me nga algorithm rite) ki te te mutunga pai rawa atu. Pērā i te nuinga o te taha whakaheke toto o te rāngai rangahau ako mihini, kei te haere tonu te SGD.

I whakaputaina tuatahi i te 10 o Hui-tanguru 2022. I whakatikatikaina i te 10 o Hui-tanguru 20.05 EET – whakahōputu.