10 parasta koneoppimisen algoritmiä

Vaikka elämme poikkeuksellisen innovaation aikaa GPU-kiihdytetyn koneoppimisen parissa, viimeisimmät tutkimuspaperit sisältävät usein algoritmeja, jotka ovat vuosikymmeniä, jopa 70 vuotta vanhoja.

Jotkut voivat väittää, että monet näistä vanhemmista menetelmistä kuuluvat “tilastolliseen analyysiin” eikä niitä pidä luokiteltava koneoppimiseksi, ja suosittavat, että alan syntymäpäivää ajoitettaisiin vuoteen 1957, jolloin keksittiin Perceptron.

Koska nämä vanhemmat algoritmit tukevat ja ovat sisäkkäin viimeisimpien trendien ja otsikoiden kanssa koneoppimisessa, on kyseessä kiistellyn kannanotto. Katsotaanpa siis “perus” -rakenteita, jotka ovat taustalla viimeisimmille innovaatioille, sekä joitakin uusia tulokkaita, jotka pyrkivät varhain konetekniikan maineeseen.

1: Muunnokset

Vuonna 2017 Google Research johti tutkimusyhteistyötä, joka johti tutkimuspaperiin Huomio on kaikki, mitä tarvitaan. Tutkimuksessa esiteltiin uudenlainen arkkitehtuuri, joka korosti huomiomekanismeja koodarin/dekooderin ja toistuvien verkkojen malleista omaksi keskeiseksi muunnokseksi.

Lähestymistapa nimettiin Muunnos, ja siitä on tullut vallankumouksellinen menetelmä luonnollisen kielen prosessoinnissa (NLP), joka mahdollistaa esimerkiksi itsestään riippuvaisen kielen mallin ja tekoälyPoster lapsi GPT-3:n.

Muunnokset ratkaisivat elegantisti ongelman jonojen transduktio, jota kutsutaan myös “muunnokseksi”, joka käsittelee syötteen jonojen käsittelyä tulostejonoksi. Muunnos vastaanottaa ja hallitsee myös tietoja jatkuvasti, ei peräkkäisissä erissä, mikä mahdollistaa “muistin jatkuvuuden”, jota RNN-arkkitehtuureja ei ole suunniteltu saavuttamaan. Tarkemman katsauksen muunnoksista varten katso viiteartikkeli.

2: Generatiiviset vastakkainasettelualgoritmit (GAN)

Vaikka muunnokset ovat saaneet poikkeuksellisen median kattavuuden GPT-3:n julkaisun ja omaksumisen myötä, Generatiivinen vastakkainasettelualgoritmi (GAN) on tullut tunnetuksi omalla nimellään, ja se voi lopulta liittyä deepfake -sanaan verbiksi.

GAN-arkkitehtuuri koostuu luojasta ja tunnistimesta. Luojan kiertää tuhansia kuvia tietokannassa ja yrittää jatkuvasti rekonstruoida niitä. Jokaisella yrityksellä tunnistin arvostelee luojan työtä ja lähettää luojan takaisin tekemään paremmin, ilman mitään vihjeitä siitä, miten edellinen rekonstruktio virheesi.

Tämä pakottaa luojan tutkimaan monia polkuja, sen sijaan, että se seuraisi mahdollisia sokeita käytäviä, jotka olisivat seuranneet, jos tunnistin olisi kertonut, missä luojan menee väärin (ks. #8 alla). Kun koulutus on valmis, luojalla on yksityiskohtainen ja kattava kartta suhteista tietokannan pisteiden välillä.

3: Tukivektorikone

Tukivektorikone (SVM) on ydin algoritmi, joka ilmestyy usein uudessa tutkimuksessa. SVM:ssä vektorit kartoittavat suhteellista asettelua tietopisteissä tietokannassa, kun taas tuki -vektorit määrittävät rajat eri ryhmien, ominaisuuksien tai piirteiden välillä.

Tukivektorikone on keksitty vuonna 1963, ja se on yksi koneoppimisen perusrakenteista.

4: K-keskiarvo

K-keskiarvo on yleisin toteutus valvomattomasta oppimisesta, joka pyrkii luokittelemaan tietopisteitä tiheyden arvioinnin avulla, luomalla tietokannan jakautumisen kartan.

K-keskiarvo on keksitty K-keskiarvo, joka ohjaa tietopisteitä eri “K-ryhmiin”, jotka voivat osoittaa demografisia sektoreita, verkkoyhteisöjä tai muita mahdollisia piilossa olevia ryhmittymiä, jotka odottavat löytymistä raakatiheyden tietojen joukosta.

5: Sattumanvarainen metsä

Sattumanvarainen metsä on joukkueoppimisen menetelmä, joka laskee yhteisen ennusteen useasta päätöspuun tuloksista, jotta voidaan saada kokonaisennuste lopputuloksesta.

Sattumanvarainen metsä on keksitty vahvistusoppimisesta, ja se on yksi koneoppimisen perusrakenteista.

6: Viattoman Bayes

Viattoman Bayes -luokittelija on voimakas, mutta suhteellisen kevyt algoritmi, joka pystyy arvioimaan todennäköisyyksiä laskettujen tietojen ominaisuuksien perusteella.

Viattoman Bayes -luokittelija perustuu Bayesin teoreemaan, jossa oletetaan, että ominaisuudet ovat toisistaan riippumattomia, eli ehdollinen riippumattomuus.

7: K-lähin naapuri

K-lähin naapuri (KNN) on ohut algoritmi, joka on edelleen näkyvässä asemassa akateemisissa tutkimuksissa ja yksityisen sektorin koneoppimisen tutkimushankkeissa.

KNN on keksitty vuonna 1951, ja se on yksi koneoppimisen perusrakenteista.

8: Markovin päätöksenteon prosessi

Markovin päätöksenteon prosessi (MDP) on matemaattinen kehys, joka esiteltiin vuonna 1957, ja se on yksi vahvistusoppimisen perusrakenteista.

MDP tutkii tietojen ympäristöä arvioimalla sen nykyistä tilaa (eli “missä” se on tietojen joukossa) ja päättää, mihin tietojen solmuun seuraavaksi tutkitaan.

9: Termien tiheyden ja käänteisen asiakirjan tiheyden laskenta

Termien tiheyden (TF) laskenta jakaa sanan esiintymisen määrän asiakirjassa asiakirjan kokonaissanamäärällä. Esimerkiksi sana “sinetti” esiintyy kerran tuhannessa sanassa, joten sen termien tiheyden on 0,001.

Käänteisen asiakirjan tiheyden (IDF) laskenta laskee sanan TF:ää useissa asiakirjoissa tietokannassa ja antaa matalan arvon hyvin yleisille stop-sanoille, kuten artikkeleille.

10: Stokastinen gradientin laskenta

Stokastinen gradientin laskenta (SGD) on yhä suositumpi menetelmä koneoppimismallien koulutuksen optimoimiseksi.

Gradientin laskenta itsessään on menetelmä, jolla optimoidaan ja määritetään mallin paranemista koulutuksen aikana.

SGD on keksitty vuonna 2015, ja se on yksi koneoppimisen perusrakenteista.