Kas ir pārneses mācības?

Kas ir pārneses mācības?

Praktizējot mašīnmācīšanos, modeļa apmācība var aizņemt ilgu laiku. Modeļa arhitektūras izveide no nulles, modeļa apmācība un pēc tam modeļa pielāgošana ir milzīgs laika un pūļu daudzums. Daudz efektīvāks veids, kā apmācīt mašīnmācības modeli, ir izmantot jau definētu arhitektūru, iespējams, ar jau aprēķinātiem svariem. Šī ir galvenā ideja pārneses mācības, izmantojot modeli, kas jau ir izmantots, un pārkārtojot to jaunam uzdevumam.

Pirms iedziļināties dažādos veidos, kā var izmantot pārneses mācības, atvēlēsim brīdi, lai saprastu, kāpēc pārnešanas mācīšanās ir tik spēcīgs un noderīgs paņēmiens.

Padziļinātas mācīšanās problēmas risināšana

Mēģinot atrisināt dziļas mācīšanās problēmu, piemēram, veidojot attēlu klasifikatoru, jums ir jāizveido modeļa arhitektūra un pēc tam jāapmāca modelis, izmantojot savus datus. Modeļu klasifikatora apmācība ietver tīkla svara pielāgošanu, kas var ilgt stundas vai pat dienas atkarībā no modeļa un datu kopas sarežģītības. Apmācības laiks tiks mērogots atbilstoši datu kopas lielumam un modeļa arhitektūras sarežģītībai.

Ja modelis nesasniedz uzdevumam nepieciešamo precizitāti, visticamāk, būs jāveic modeļa pielāgošana un pēc tam modelis būs jāpārmāca. Tas nozīmē vairāk stundu apmācības, līdz tiek atrasta optimālā arhitektūra, apmācības ilgums un datu kopas nodalījums. Apsverot, cik mainīgo ir jāsaskaņo vienam ar otru, lai klasifikators būtu noderīgs, ir loģiski, ka mašīnmācīšanās inženieri vienmēr meklē vieglākus un efektīvākus modeļus apmācīt un ieviest. Šī iemesla dēļ tika izveidota pārneses mācīšanās tehnika.

Pēc modeļa projektēšanas un testēšanas, ja modelis izrādījās noderīgs, to var saglabāt un vēlāk izmantot atkārtoti līdzīgām problēmām.

Nodošanas mācību veidi

Kopumā ir divi dažādi nodošanas mācīšanās veidi: modeļa izstrāde no nulles un iepriekš apmācīta modeļa izmantošana.

Izstrādājot modeli no jauna, jums būs jāizveido modeļa arhitektūra, kas spēj interpretēt jūsu apmācības datus un iegūt no tiem modeļus. Pēc tam, kad modelis ir apmācīts pirmo reizi, iespējams, tas būs jāmaina, lai iegūtu optimālu modeļa veiktspēju. Pēc tam varat saglabāt modeļa arhitektūru un izmantot to kā sākuma punktu modelim, kas tiks izmantots līdzīgam uzdevumam.

Otrajā nosacījumā - iepriekš apmācīta modeļa izmantošana - jums vienkārši jāizvēlas iepriekš apmācīts modelis, ko izmantot. Daudzas universitātes un pētniecības grupas padarīs sava modeļa specifikācijas pieejamas vispārējai lietošanai. Modeļa arhitektūru var lejupielādēt kopā ar svariem.

Veicot pārneses mācīšanos, var izmantot visu modeļa arhitektūru un svarus konkrētajam uzdevumam vai tikai atsevišķas modeļa daļas/slāņus. Izmantojot tikai daļu no iepriekš apmācītā modeļa un apmācot pārējo modeli, sauc par precizēšanu.

Tīkla pielāgošana

Tīkla precizēšana apraksta tikai dažu tīkla slāņu apmācības procesu. Ja jauna apmācības datu kopa ir līdzīga datu kopai, ko izmantoja sākotnējā modeļa apmācīšanai, var izmantot daudzus no tiem pašiem svariem.

Tīkla slāņu skaitam, ko vajadzētu atslēgt un atkārtoti apmācīt, ir jāmēro atbilstoši jaunās datu kopas lielumam. Ja apmācāmā datu kopa ir maza, labāk ir paturēt lielāko daļu slāņu tādus, kādi tie ir, un apmācīt tikai dažus pēdējos slāņus. Tas ir paredzēts, lai novērstu tīkla pārspīlēšanu. Alternatīvi, iepriekš apmācītā tīkla pēdējos slāņus var noņemt un pievienot jaunus slāņus, kas pēc tam tiek apmācīti. Turpretim, ja datu kopa ir liela datu kopa, kas, iespējams, ir lielāka par sākotnējo datu kopu, viss tīkls ir jāapmāca no jauna. Lai izmantotu tīklu kā fiksēto funkciju nosūcējs, lielāko daļu tīkla var izmantot funkciju iegūšanai, savukārt tikai tīkla pēdējo slāni var atsaldēt un apmācīt.

Precizējot tīklu, atcerieties, ka iepriekšējie ConvNet slāņi satur informāciju, kas atspoguļo attēlu vispārīgākās funkcijas. Tās ir tādas funkcijas kā malas un krāsas. Turpretim ConvNet vēlākajos slāņos ir informācija, kas ir precīzāka atsevišķām klasēm, kas atrodas datu kopā, kurā modelis sākotnēji tika apmācīts. Ja apmācāt modeli datu kopai, kas ievērojami atšķiras no sākotnējās datu kopas, iespējams, vēlēsities izmantot modeļa sākotnējos slāņus, lai iegūtu līdzekļus un vienkārši pārmācītu pārējo modeli.

Mācību piemēru pārnese

Visizplatītākie pārsūtīšanas mācīšanās pielietojumi, iespējams, ir tie, kas izmanto attēla datus kā ievadi. Tie bieži ir prognozēšanas/klasifikācijas uzdevumi. Ceļš Konvolūcijas neironu tīkli attēlu datu interpretācija ir piemērota modeļu aspektu atkārtotai izmantošanai, jo konvolucionālie slāņi bieži izšķir ļoti līdzīgas pazīmes. Viens no izplatītas pārsūtīšanas mācīšanās problēmas piemēriem ir ImageNet 1000 uzdevums, liela datu kopa, kas pilna ar 1000 dažādu klašu objektiem. Uzņēmumi, kas izstrādā modeļus, kas nodrošina augstu veiktspēju šajā datu kopā, bieži izlaiž savus modeļus saskaņā ar licencēm, kas ļauj citiem tos izmantot atkārtoti. Daži no modeļiem, kas izveidoti šī procesa rezultātā, ietver Microsoft ResNet modelis, Google sākuma modelis un Oksfordas VGG modelis grupa.