Mis on süvaõpe?

Süvaõpe on tehisintellekti üks mõjukamaid ja kiiremini kasvavaid valdkondi. Süvaõppest intuitiivse arusaamise saamine võib aga olla keeruline, kuna mõiste süvaõpe hõlmab mitmesuguseid erinevaid algoritme ja tehnikaid. Süvaõpe on ka üldiselt masinõppe aladistsipliin, mistõttu on oluline mõista, mis on masinõpe, et mõista sügavat õppimist.

Mis on masinõpe?

Sügav õppimine on mõnede masinõppest pärinevate mõistete laiendus, nii et sel põhjusel selgitame, mis masinõpe on.

Lihtsamalt öeldes on masinõpe meetod, mis võimaldab arvutitel täita konkreetseid ülesandeid ilma nende ülesannete täitmiseks kasutatavate algoritmide iga rida selgesõnaliselt kodeerimata. Erinevaid masinõppe algoritme on palju, kuid üks sagedamini kasutatavaid algoritme on a mitmekihiline pertseptron. Mitmekihilist pertseptronit nimetatakse ka närvivõrguks ja see koosneb reast omavahel ühendatud sõlmedest/neuronitest. Mitmekihilises pertseptronis on kolm erinevat kihti: sisendkiht, peidetud kiht ja väljundkiht.

Sisendkiht viib andmed võrku, kus neid manipuleerivad keskmise/peidetud kihi sõlmed. Peidetud kihi sõlmed on matemaatilised funktsioonid, mis saavad manipuleerida sisendkihist tulevate andmetega, eraldades sisendandmetest asjakohased mustrid. Nii “õpib” närvivõrk. Närvivõrgud on oma nime saanud sellest, et need on inspireeritud inimaju struktuurist ja funktsioonidest.

Võrgu sõlmede vahelistel ühendustel on väärtused, mida nimetatakse kaaludeks. Need väärtused on sisuliselt oletused selle kohta, kuidas ühe kihi andmed on seotud järgmise kihi andmetega. Kuna võrk treenib, kohandatakse kaalusid ja eesmärk on, et andmete kaalud/eeldused läheneksid lõpuks väärtustele, mis kajastavad täpselt andmete tähenduslikke mustreid.

Aktiveerimisfunktsioonid on võrgu sõlmedes ja need aktiveerimisfunktsioonid muudavad andmed mittelineaarselt, võimaldades võrgul õppida andmete keerulisi esitusi. Aktiveerimisfunktsioonid korrutavad sisendväärtused kaaluväärtustega ja lisavad nihkeliikme.

Mis on süvaõpe?

Sügavõpe on termin, mida nimetatakse masinõppearhitektuuridele, mis ühendavad palju mitmekihilisi pertseptroneid, nii et pole ainult üks peidetud kiht, vaid palju peidetud kihte. Mida sügavam on sügav närvivõrk, seda keerukamaid mustreid võrk saab õppida.

Neuronidest koosnevaid süvakihtvõrke nimetatakse mõnikord täielikult ühendatud võrkudeks või täielikult ühendatud kihtideks, viidates asjaolule, et antud neuron säilitab ühenduse kõigi seda ümbritsevate neuronitega. Täielikult ühendatud võrke saab kombineerida teiste masinõppe funktsioonidega, et luua erinevaid süvaõppearhitektuure.

Erinevad süvaõppe tüübid

Teadlased ja insenerid kasutavad mitmesuguseid süvaõppearhitektuure ning igal erineval arhitektuuril on oma spetsiifiline kasutusjuht.

Konvolutsioonilised närvivõrgud

Konvolutsioonilised närvivõrgude CNN-id on närvivõrgu arhitektuur, mida tavaliselt kasutatakse arvutinägemissüsteemide loomisel. Konvolutsiooniliste närvivõrkude struktuur võimaldab neil tõlgendada pildiandmeid, teisendades need numbriteks, mida täielikult ühendatud võrk suudab tõlgendada. CNN-il on neli peamist komponenti:

• Konvolutsioonilised kihid
• Osaproovide võtmise/ühendamise kihid
• Aktiveerimisfunktsioonid
• Täielikult ühendatud kihid

Konvolutsioonikihid võtavad pilte võrku sisenditena, analüüsides pilte ja hankides pikslite väärtusi. Subdismpling või pooling on koht, kus kujutise väärtusi teisendatakse/vähendatakse, et lihtsustada kujutiste esitust ja vähendada pildifiltrite tundlikkust müra suhtes. Aktiveerimisfunktsioonid juhivad andmete voogu ühelt kihilt järgmisele ja täielikult ühendatud kihid analüüsivad pilti esindavaid väärtusi ja õpivad nendes väärtustes olevaid mustreid.

RNN-id/LSTM-id

Korduvad närvivõrgudvõi RNN-id on populaarsed ülesannete jaoks, kus andmete järjekord on oluline ja mille puhul võrk peab õppima andmejada kohta. RNN-e kasutatakse tavaliselt selliste probleemide puhul nagu loomuliku keele töötlemine, kuna sõnade järjekord on lause tähenduse dekodeerimisel oluline. Termini Korduv närvivõrk "korduv" osa tuleneb asjaolust, et jada antud elemendi väljund sõltub nii eelmisest kui ka praegusest arvutusest. Erinevalt teistest sügavate närvivõrkude vormidest on RNN-idel "mälud" ja jada erinevatel ajaetappidel arvutatud teavet kasutatakse lõppväärtuste arvutamiseks.

RNN-e on mitut tüüpi, sealhulgas kahesuunalised RNN-id, mis võtavad üksuse väärtuse arvutamisel lisaks eelmistele üksustele arvesse jada tulevasi üksusi. Teine RNN tüüp on a Long Short-Term Memory ehk LSTM, võrk. LSTM-id on RNN-i tüübid, mis saavad hakkama pikki andmeahelaid. Regulaarsed RNN-id võivad langeda millegi, mida nimetatakse "plahvatava gradiendi probleemiks", ohvriks. See probleem ilmneb siis, kui sisendandmete ahel muutub äärmiselt pikaks, kuid LSTM-idel on selle probleemi lahendamiseks tehnikad.

Autokooderid

Enamikku seni mainitud süvaõppearhitektuure rakendatakse juhendatud õpiprobleemide, mitte juhendamata õppeülesannete puhul. Autoencoders on võimeline teisendama järelevalveta andmeid järelevalvega vormingusse, võimaldades probleemi lahendamiseks kasutada närvivõrke.

Autokooderid kasutatakse sageli anomaaliate tuvastamiseks andmekogumites, näiteks järelevalveta õppimise kohta, kuna anomaalia olemus pole teada. Selliste kõrvalekallete tuvastamise näidete hulka kuulub finantsasutuste pettuste avastamine. Selles kontekstis on automaatse kodeerija eesmärk määrata andmete regulaarsete mustrite lähtejoon ja tuvastada kõrvalekalded või kõrvalekalded.

Autoencoderi struktuur on sageli sümmeetriline, peidetud kihid on paigutatud nii, et võrgu väljund sarnaneb sisendiga. Neli tüüpi automaatkoodereid, mida sageli kasutatakse, on järgmised:

• Tavalised/tavalised automaatkodeerijad
• Mitmekihilised kodeerijad
• Konvolutsioonikooderid
• Regulaariseeritud kodeerijad

Tavalised/tavalised automaatkodeerijad on vaid ühe peidetud kihiga närvivõrgud, mitmekihilised automaatkodeerijad aga sügavad võrgud, millel on rohkem kui üks peidetud kiht. Konvolutsioonilised automaatkodeerijad kasutavad täielikult ühendatud kihtide asemel või lisaks neile konvolutsioonikihte. Regulaarsed automaatkodeerijad kasutavad teatud tüüpi kadufunktsiooni, mis võimaldab närvivõrgul täita keerukamaid funktsioone, muid funktsioone peale sisendite kopeerimise väljunditesse.

Generatiivsed võistlusvõrgustikud

Generatiivsed võistlevad võrgud (GAN-id) on tegelikult mitu sügavat närvivõrku ühe võrgu asemel. Korraga koolitatakse kahte süvaõppe mudelit ja nende väljundid edastatakse teise võrku. Võrgud konkureerivad üksteisega ja kuna nad saavad juurdepääsu üksteise väljundandmetele, õpivad nad nendest andmetest ja täiustavad. Need kaks võrgustikku mängivad sisuliselt võltsimise ja tuvastamise mängu, kus generatiivne mudel üritab luua uusi juhtumeid, mis petavad detektiivimudeli/diskrimineerija. GAN-id on muutunud populaarseks arvutinägemise valdkonnas.

Süvaõppe kokkuvõte

Süvaõpe laiendab närvivõrkude põhimõtteid, et luua keerukaid mudeleid, mis suudavad õppida keerulisi mustreid ja üldistada neid mustreid tulevasteks andmekogumiteks. Piltide tõlgendamiseks kasutatakse konvolutsioonilisi närvivõrke, järjestikuste andmete tõlgendamiseks aga RNN-e/LSTM-e. Autoenkooderid võivad muuta järelevalveta õppeülesanded juhendatud õppeülesanneteks. Lõpuks on GAN-id mitu üksteise vastas olevat võrku, mis on eriti kasulikud arvutinägemise ülesannete jaoks.