He aha te Overfitting?

He aha te Overfitting?

Ina whakangungu koe i te whatunga neural, me karo koe i te whakakaha. Te whakakakahu He take kei roto i te ako miihini me nga tatauranga e ako pai ana tetahi tauira i nga tauira o te huinga raraunga whakangungu, e tino whakamaarama ana i te huinga raraunga whakangungu engari karekau i te whakawhanui i tana mana matapae ki etahi atu huinga raraunga.

Ki te kii i tetahi atu huarahi, mo te tauira taapiri ka whakaatu i te tino tika i runga i te huinga raraunga whakangungu engari he iti te tika o nga raraunga ka kohia me te whakahaere i te tauira a meake nei. He whakamaarama tere tera mo te taapiri, engari me korero ake te kaupapa o te whakakikorua. Kia titiro tatou ki te ahua o te taapiri me te pehea e karohia ai.

Te Maramatanga ki te "Fit" and Underfitting

He pai ki te titiro ki te ariā o te whakaraerae me te "uru” i te nuinga o te wa e korero ana mo te taapiri. Ina whakangungu tatou i tetahi tauira e ngana ana tatou ki te hanga anga e kaha ana ki te matapae i te ahua, te karaehe ranei, o nga mea kei roto i te huingararaunga, i runga i nga ahuatanga e whakaahua ana i aua tuemi. Me kaha te tauira ki te whakamarama i tetahi tauira i roto i te huingararaunga me te matapae i nga karaehe o nga tohu raraunga a meake nei mai i tenei tauira. Ko te pai ake o te whakamarama o te tauira i te hononga i waenga i nga ahuatanga o te huinga whakangungu, ka nui ake te "pai" o to maatau tauira.

Ko te raina kikorangi e tohu ana i nga matapaetanga e te tauira karekau e tika ana, ko te raina matomato he tauira pai ake. Whakaahua: Pep Roca mā Wikimedia Commons, CC BY SA 3.0, (https://commons.wikimedia.org/wiki/File:Reg_ls_curvil%C3%ADnia.svg)

Ko te tauira kaore e pai te whakamarama i te hononga i waenga i nga ahuatanga o nga raraunga whakangungu me te kore e tika te whakarōpū i nga tauira raraunga a meake nei. koretake nga raraunga whakangungu. Mēnā ka kauwhata koe i te hononga matapae o tētahi tauira karekau ki te whitinga tūturu o ngā āhuatanga me ngā tapanga, ka peka ke atu nga matapae i te tohu. Mena he kauwhata kei a maatau nga uara tuturu o te huinga whakangungu kua tapaina, ka ngaro te nuinga o nga tohu raraunga i te tauira tino ngoikore. Ko te tauira e pai ake ana ka tapahia he ara i waenganui o nga tohu raraunga, me te iti noa o nga tohu raraunga takitahi mai i nga uara matapae.

He maha nga wa ka puta te ngoikoretanga ina he iti rawa nga raraunga hei hanga tauira tika, i te wa e ngana ana ki te hoahoa i tetahi tauira raina me nga raraunga kore-rarangi. He nui ake nga raraunga whakangungu, he maha atu ranei nga waahanga ka awhina i te whakaiti i te ngoikoretanga.

Na he aha e kore ai e hanga noa he tauira e whakamarama tika ana i nga waahi katoa o nga raraunga whakangungu? He tino tika te tino tika? Ko te hanga tauira kua tino ako i nga tauira o nga raraunga whakangungu te take ka nui rawa te whakauru. Ko te huinga raraunga whakangungu me etahi atu, nga huingararaunga a meake nei ka whakahaerehia e koe i roto i te tauira kaore e tino rite. He rite tonu te ahua i roto i te maha o nga ahuatanga, engari ka rereke ano i nga huarahi matua. Na reira, ko te hoahoa i tetahi tauira e whakamarama ana i te huingararaunga whakangungu ka puta he ariā e pa ana ki te hononga i waenga i nga ahuatanga kaore e tino whakawhanui ki etahi atu huingararaunga.

Te Maramatanga o Overfitting

Ka puta te overfitting ina ako ana te tauira i nga korero i roto i te huingararaunga whakangungu, ka raru te tauira ina puta nga matapae ki nga raraunga o waho. Ka puta pea tenei ina kore noa te tauira e ako i nga ahuatanga o te huingararaunga, ka ako ano ia i nga rereketanga ohorere ranei reo i roto i te huingararaunga, me te whai hiranga ki enei puta ohorere/kore.

Ka kaha ake te taapiri ina whakamahia nga tauira raina-kore, na te mea he ngawari ake i te wa e ako ana nga ahuatanga raraunga. He maha nga tawhā me nga tikanga ka taea te whakamahi ki te aukati i te aro o te tauira ki nga raraunga me te whakaiti i te taapiri. Hei tauira, tauira rakau whakatau he tino tairongo ki te taapiri, engari ka taea te whakamahi i te tikanga tapatapahi hei tango matapōkeretia etahi o nga korero kua akohia e te tauira.

Mena ka tuhia e koe nga matapae o te tauira i runga i nga tuaka X me Y, ka whai koe i tetahi rarangi matapae ka huri whakamuri, whakamuri, e whakaatu ana i te tino kaha o te tauira ki te whakauru i nga tohu katoa o te huingararaunga. tona whakamaramatanga.

Te whakahaere i te taapiri

Ina whakangunguhia e tatou tetahi tauira, ko te hiahia kia kaua te tauira e he. Ina huri te mahinga o te tauira ki te hanga matapae tika mo nga tohu raraunga katoa i roto i te huingararaunga whakangungu, kei te pai haere te pai. Ka taea e te tauira he pai te whakamaarama tata ki te katoa o nga huingararaunga whakangungu me te kore e whakakikoruatia.

I te wa e whakangungu ana te tauira ka pai ake tana mahi i roto i te waa. Ka heke te reiti hapa o te tauira ka pahemo te wa whakangungu, engari ka heke noa ki tetahi waahi. Ko te waahi i timata ai te mahi a te tauira i runga i te huinga whakamatautau ki te ara ake ano ko te waahi kei te tupu te taapiri. Kia whiwhi ai i te tino pai mo te tauira, e hiahia ana matou ki te whakamutu i te whakangungu i te tauira i te waahi o te mate iti rawa i runga i te huinga whakangungu, i mua i te tiimata ka piki ano te hapa. Ka taea te kimi i te waahi tino pai ma te kauwhata i te mahinga o te tauira puta noa i te wa whakangungu me te whakamutu i te whakangungu ina he iti te mate. Heoi ano, ko tetahi morearea ki tenei tikanga whakahaere mo te taapiri ko te tohu i te waahi mutunga mo te whakangungu i runga i nga mahi whakamatautau ko te tikanga ka uru nga raraunga whakamatautau ki te tikanga whakangungu, ka ngaro tona mana hei raraunga "kaore i pa".

E rua nga huarahi rereke ka taea e tetahi te whawhai ki te overfitting. Ko tetahi tikanga mo te whakaiti i te taapiri ko te whakamahi i tetahi tikanga whakamaarama hou, e mahi ana ma te whakatau tata i te tika o te tauira. Ka taea hoki e koe te whakamahi a whakamanatanga huingararaunga hei taapiri atu ki te huinga whakamatautau ka whakatakotohia te tika o te whakangungu ki te huinga whakamana hei utu mo te huingararaunga whakamatautau. Ma tenei ka kore e kitea to huingararaunga whakamatautau. Ko te tikanga whakamaaramatanga rongonui ko te K-folds cross-validation. Ma tenei tikanga ka taea e koe te wehewehe i o raraunga ki roto i nga huinga iti e whakangungua ana te tauira, katahi ka tātarihia te mahinga o te tauira ki nga huinga iti hei whakatau tata ka pehea te mahi o te tauira ki nga raraunga o waho.

Ko te whakamahi i te whakamana-whakawhiti tetahi o nga huarahi pai ki te whakatau tata i te tika o te tauira i runga i nga raraunga kore kitea, a ka honoa ki te huinga huingararaunga whaimana ka taea te pupuri ki te iti rawa.