Mikä on KNN (K-Nearest Neighbors)?

Mikä on K-Nearest Neighbors (KNN)?

K-Nearest Neighbors on koneoppimisen tekniikka ja algoritmi, jota voidaan käyttää sekä regressio- että luokittelu-tehtävissä . K-Nearest Neighbors tarkastelee valitun määrän tietopisteiden etikettejä kohdetietopisteen ympärillä, jotta voidaan tehdä ennuste siitä luokasta, johon tietopiste kuuluu. K-Nearest Neighbors (KNN) on käsitteellisesti yksinkertainen, mutta hyvin voimakas algoritmi, ja näistä syistä se on yksi suosituimmista koneoppimisen algoritmeista. Otetaan syvä sukellus KNN-algoritmiin ja katsotaan, miten se toimii. Hyvä ymmärrys siitä, miten KNN toimii, antaa arvostaa parhaat ja huonoin käyttötapaukset KNN:lle.

K-Nearest Neighbors (KNN) yleiskatsaus

Kuva: Antti Ajanki AnAj via Wikimedia Commons, CC BY SA 3.0 (https://commons.wikimedia.org/wiki/File:KnnClassification.svg)

Visualisoidaan tietojoukkoa 2D-tasolla. Kuvitellaan joukko tietopisteitä graafisessa esityksessä, jotka ovat jakautuneet graafisessa esityksessä pieniin ryhmiin. KNN tarkastelee tietopisteiden jakautumista ja, riippuen algoritmille annetuista argumenteista, se erottaa tietopisteet ryhmiin. Nämä ryhmät saavat sitten etiketin. KNN-mallin ensisijainen oletus on, että tietopisteet/instanssit, jotka ovat lähellä toisiaan, ovat hyvin samankaltaisia, kun taas jos tietopiste on kaukana toisesta ryhmästä, se on erilainen kuin ne tietopisteet.

KNN-malli laskee samankaltaisuuden kahden pisteen välisen etäisyyden perusteella graafisessa esityksessä. Mitä suurempi etäisyys pisteiden välillä on, sitä vähemmän ne ovat samankaltaisia. On useita tapoja laskea etäisyyttä pisteiden välillä, mutta yleisin etäisyysmitta on pelkästään euklidinen etäisyys (etäisyys kahden pisteen välillä suoralla linjalla).

KNN on valvottu oppimisen algoritmi, mikä tarkoittaa, että esimerkit tietojoukossa on oltava merkitty luokillaan/luokituksillaan. On kaksi muuta tärkeää asiaa, jotka on tiedettävä KNN:stä. Ensinnäkin, KNN on epäparametrinen algoritmi. Tämä tarkoittaa, että algoritmiin ei tehdä oletuksia tietojoukosta, kun sitä käytetään. Sen sijaan malli rakennetaan kokonaan annetuista tiedoista. Toiseksi, tietojoukkoa ei jaeta koulutus- ja testijoukoiksi KNN:n käytön aikana. KNN ei tee yleistyksiä koulutus- ja testijoukon välillä, joten kaikki koulutustiedot käytetään myös, kun mallia pyydetään tekemään ennusteita.

KNN-algoritmin toimintatapa

KNN-algoritmi kulkee kolmen päävaiheen läpi, kun sitä suoritetaan:

1. Aseta K valittuun naapureiden määrään.
2. Laske etäisyys annetun/testitietopisteen ja tietojoukon esimerkkien välillä.
3. Järjestä lasketut etäisyydet.
4. Hae ylemmän K-tason etiketit.
5. Palauta ennuste testitietopisteestä.

Ensimmäisessä vaiheessa K valitaan käyttäjän toimesta, ja se kertoo algoritmille, kuinka monta naapuria (kuinka monta ympäröivää tietopistettä) tulee ottaa huomioon, kun tehdään päätös siitä ryhmästä, johon kohdetietopiste kuuluu. Toisessa vaiheessa huomata, että malli tarkastelee etäisyyttä kohdetietopisteen ja jokaisen tietojoukon esimerkin välillä. Etäisyydet lisätään listaan ja järjestetään. Sen jälkeen järjestetty lista tarkistetaan, ja ylemmän K-tason etiketit palautetaan. Toisin sanoen, jos K on asetettu 5:een, malli tarkastelee ylemmän 5 lähimmän tietopisteen etikettejä kohdetietopisteeseen. Kun tehdään ennuste kohdetietopisteestä, on tärkeää, onko tehtävä regressio vai luokittelutehtävä. Regressio-tehtävän tapauksessa käytetään ylemmän K-tason etikettien keskiarvoa, kun taas luokittelu-tehtävän tapauksessa käytetään ylemmän K-tason etikettien moodia.

Täsmälliset matemaattiset operaatiot, joita käytetään KNN:n suorittamiseen, vaihtelevat valitun etäisyysmitan mukaan. Jos haluat tietää enemmän siitä, miten mittaukset lasketaan, voit lukea jotain yleisimmistä etäisyysmitoista, kuten euklidinen, manhattan ja minkowski.

Miksi K:n arvo on tärkeä

KNN:n päärajoitus on, että virheellinen K:n arvo (väärä naapureiden määrä) voidaan valita. Jos tämä tapahtuu, palautettavat ennusteet voivat olla merkittävästi virheellisiä. On erittäin tärkeää, että KNN-algoritmin käytön aikana valitaan oikea arvo K:lle. Haluat valita K:n arvon, joka maksimoi mallin kykyä tehdä ennusteita näkymättömistä tiedoista ja vähentää virheitä, joita se tekee.

Kuva: Agor153 via Wikimedia Commons, CC BY SA 3.0 (https://en.wikipedia.org/wiki/File:Map1NN.png)

Pienemmät K:n arvot tarkoittavat, että KNN:n antamat ennusteet ovat vakaampia ja luotettavampia. Saadaksesi käsityksen siitä, miksi näin on, tarkastellaan tapausta, jossa meillä on 7 naapuria kohdetietopisteen ympärillä. Oletetaan, että KNN-malli toimii K:n arvolla 2 (pyydämme sitä tarkastelemaan kahta lähintä naapuria ennusteen tekemiseksi). Jos suurin osa naapureista (viisi seitsemästä) kuuluu Blue-luokkaan, mutta kaksi lähintä naapuria sattumalta ovat Red, malli ennustaa, että kohdetietopiste on Red. Vaikka malli arvioi, että Blue olisi parempi arvio tällaisessa tilanteessa.

Jos näin on, miksi ei valittaisi vain suurinta K:n arvoa, jonka voidaan valita? Tämä johtuu siitä, että kun kerrotaan mallille, että se tulee tarkastella liian monta naapuria, se alkaa tarkastella tietopisteitä, jotka ovat lähempänä muiden ryhmiä kuin kohdetietopistettä, ja luokitteluvirheitä alkaa tapahtua. Esimerkiksi, vaikka aluksi valittu piste oli yhdessä punaisista alueista yllä, jos K asetetaan liian suureksi, malli ulottuu muihin alueisiin tarkastellakseen pisteitä. KNN-mallin käytön aikana kokeillaan eri K:n arvoja, jotta voidaan nähdä, mikä arvo antaa mallille parhaimman suorituskyvyn.

KNN:n edut ja haitat

Tarkastellaan KNN-mallin etuja ja haittoja.

Edut:

KNN voidaan käyttää sekä regressio- että luokittelu-tehtävissä, toisin kuin jotkut muut valvotut oppimisen algoritmit.

KNN on hyvin tarkin ja helppo käyttää. Se on helppo ymmärtää, tulkita ja toteuttaa.

KNN ei tee oletuksia tiedoista, mikä tarkoittaa, että sitä voidaan käyttää laajasti erilaisiin ongelmiin.

Haitat:

KNN tallentaa suurimman osan tai kaikki tiedot, mikä tarkoittaa, että malli vaatii paljon muistia ja on laskennallisesti kallista. Suuret tietojoukot voivat myös aiheuttaa, että ennusteiden tekeminen kestää kauan.

KNN osoittautuu erittäin herkkäksi tietojoukon mittasuhteelle ja se voidaan helposti häikäistä merkityksettömillä ominaisuuksilla verrattuna muihin malleihin.

K-Nearest Neighbors (KNN) yhteenveto

K-Nearest Neighbors on yksi yksinkertaisimmista koneoppimisen algoritmeista. Vaikka KNN on käsitteellisesti yksinkertainen, se on myös voimakas algoritmi, joka antaa melko korkean tarkin luokittelun useimmissa ongelmissa. Kun käytetään KNN:ä, on varmistettava, että kokeillaan eri K:n arvoja, jotta voidaan löytää se arvo, joka antaa korkeimman tarkin luokittelun.