Naon Dupi Overfitting?

Naon Dupi Overfitting?

Nalika anjeun ngalatih jaringan saraf, anjeun kedah nyingkahan overfitting. Overfitting mangrupa masalah dina mesin learning jeung statistik dimana model diajar pola susunan data latihan ogé, sampurna ngajelaskeun set data latihan tapi gagal pikeun generalize kakuatan prediksi na set data lianna.

Pikeun nempatkeun éta cara sejen, dina kasus model overfitting eta mindeng bakal némbongkeun akurasi pisan tinggi dina set data latihan tapi akurasi low on data dikumpulkeun tur ngajalankeun ngaliwatan model di mangsa nu bakal datang. Éta harti gancang overfitting, tapi hayu urang balik leuwih konsép overfitting dina leuwih jéntré. Hayu urang tingali kumaha overfitting lumangsung sareng kumaha éta tiasa dihindari.

Ngartos "Fit" sareng Underfitting

Mangpaat pikeun ningali konsép underfitting sareng "ngepas” umumna nalika ngabahas overfitting. Nalika urang ngalatih modél, urang nyobian ngembangkeun kerangka anu sanggup ngaramalkeun sifat, atanapi kelas, barang-barang dina set data, dumasar kana fitur anu ngajelaskeun barang-barang éta. Hiji modél kedah tiasa ngajelaskeun pola dina set data sareng ngaduga kelas titik data kahareup dumasar kana pola ieu. Langkung saé modél ngajelaskeun hubungan antara fitur set latihan, langkung "cocok" modél urang.

Garis biru ngagambarkeun prediksi ku model anu underfitting, sedengkeun garis héjo ngagambarkeun model fit hadé. Poto: Pep Roca via Wikimedia Commons, CC BY SA 3.0, (https://commons.wikimedia.org/wiki/File:Reg_ls_curvil%C3%ADnia.svg)

Model anu kirang ngajelaskeun hubungan antara fitur data latihan sahingga gagal pikeun akurat mengklasifikasikan conto data kahareup nyaéta underfitting data latihan. Upami anjeun ngagambar hubungan anu diprediksi tina modél anu teu cocog sareng parapatan anu saleresna tina fitur sareng labél, prediksi bakal nyimpang tina tanda. Upami urang ngagaduhan grafik kalayan nilai-nilai saleresna tina set latihan anu dilabélan, modél anu kirang pas bakal drastis kantun seueur titik data. Model anu pas anu langkung saé tiasa motong jalur anu ngalangkungan pusat titik data, kalayan titik data individu ngan ukur kaluar tina nilai anu diprediksi.

Underfitting mindeng bisa lumangsung lamun aya teu cukup data pikeun nyieun model akurat, atawa nalika nyobian ngarancang model linier kalawan data non-linier. Langkung seueur data latihan atanapi langkung seueur fitur bakal ngabantosan ngirangan underfitting.

Janten naha urang henteu ngan ukur nyiptakeun modél anu ngajelaskeun unggal titik dina data latihan sacara sampurna? Pasti akurasi sampurna téh desirable? Nyiptakeun modél anu parantos diajar pola data latihan ogé anu nyababkeun overfitting. Set data latihan sareng set data masa depan anu anjeun jalankeun dina modél moal persis sami. Aranjeunna sigana bakal sami pisan dina sababaraha hal, tapi aranjeunna ogé bakal béda dina cara konci. Ku alatan éta, ngarancang modél anu ngajelaskeun set data latihan sacara sampurna hartosna anjeun mungkas ku téori ngeunaan hubungan antara fitur anu henteu ngageneralisasikeun ogé kana set data anu sanés.

Pamahaman Overfitting

Overfitting lumangsung nalika modél diajar rinci dina set data latihan ogé, nyababkeun modél sangsara nalika prediksi dilakukeun dina data luar. Ieu bisa lumangsung nalika modél teu ukur diajar fitur tina dataset, tapi ogé diajar fluctuations acak atawa sora dina dataset, nempatkeun pentingna on ieu kajadian acak / teu penting.

Overfitting leuwih gampang lumangsung nalika modél nonlinier dipaké, sabab leuwih fleksibel nalika diajar fitur data. Algoritma pembelajaran mesin nonparametrik sering gaduh sababaraha parameter sareng téknik anu tiasa diterapkeun pikeun ngawatesan sensitipitas modél kana data sahingga ngirangan overfitting. Salaku conto, model tangkal kaputusan sensitip pisan kana overfitting, tapi téknik anu disebut pruning tiasa dianggo pikeun ngahapus sababaraha rinci anu diajar modél.

Upami anjeun ngagambarkeun prediksi modél dina sumbu X sareng Y, anjeun bakal gaduh garis prediksi anu zigzag bulak-balik, anu ngagambarkeun kanyataan yén modél éta parantos usaha pisan pikeun nyocogkeun ka sadaya titik dina set data. kateranganana.

Ngadalikeun Overfitting

Nalika urang ngalatih modél, urang hoyong modél henteu aya kasalahan. Nalika kinerja modél konvergen nuju ngadamel prediksi anu leres dina sadaya titik data dina set data latihan, pas janten langkung saé. Model anu pas tiasa ngajelaskeun ampir sadaya set data latihan tanpa overfitting.

Salaku model ngalatih kinerja na ngaronjatkeun kana waktu. Laju kasalahan modél bakal turun nalika waktos latihan, tapi ngan ukur turun ka titik anu tangtu. Titik dimana kinerja modél dina set tés mimiti naék deui biasana mangrupikeun titik dimana overfitting lumangsung. Pikeun kéngingkeun modél anu paling pas, urang badé ngeureunkeun latihan modél dina titik leungitna panghandapna dina set latihan, sateuacan kasalahan mimiti ningkat deui. Titik lirén anu optimal tiasa dipastikeun ku ngagambarkeun kinerja modél sapanjang waktos latihan sareng ngeureunkeun latihan nalika kaleungitan panghandapna. Sanajan kitu, hiji résiko kalawan métode kontrol overfitting ieu nu nangtukeun titik ahir latihan dumasar kana kinerja test hartina data test jadi rada kaasup dina prosedur latihan, sarta eta leungiteun statusna salaku murni "teu kacekel" data.

Aya sababaraha cara anu tiasa merangan overfitting. Salah sahiji metodeu pikeun ngirangan overfitting nyaéta ngagunakeun taktik resampling, anu dijalankeun ku estimasi akurasi modél. Anjeun oge bisa make a validasi dataset salian set test na plot akurasi latihan ngalawan set validasi tinimbang dataset test. Ieu ngajaga set data tés anjeun teu katingali. Métode resampling populér nyaéta K-folds cross-validation. Téhnik ieu ngamungkinkeun anjeun pikeun ngabagi data anjeun kana subset anu modél dilatih, teras kinerja modél dina subset dianalisis pikeun ngira-ngira kumaha model bakal laksana dina data luar.

Ngamangpaatkeun cross-validasi nyaéta salah sahiji cara anu pangsaéna pikeun ngira-ngira akurasi modél dina data anu teu katingali, sareng nalika digabungkeun sareng set data validasi, overfitting sering tiasa diminimalkeun.