Mitä on Dimensioanalennus?

Mitä on Dimensioanalennus?

Dimensioanalennus on prosessi, jolla aineiston ulottuvuutta voidaan vähentää, ottamalla monia ominaisuuksia ja edustamalla niitä vähemmällä ominaisuuksilla. Esimerkiksi dimensioanalennusta voidaan käyttää vähentämään 20 ominaisuuden aineistoa muutamaksi ominaisuudeksi. Dimensioanalennusta käytetään yleisesti valvomattomissa oppimistehtävissä luomaan luokat automaattisesti monista ominaisuuksista. Jotta voisimme paremmin ymmärtää miksi ja miten dimensioanalennusta käytetään, tarkastelemme ongelmia, jotka liittyvät korkean ulottuvuuden aineistoihin ja tavanomaisiin menetelmiin, joilla ulottuvuutta voidaan vähentää.

Lisää ulottuvuuksia johtaa ylioppimiseen

Ulottuvuus viittaa aineiston ominaisuuksien/ sarakkeiden määrään.

Usein oletetaan, että koneoppimisessa enemmän ominaisuuksia on parempaa, koska se luo tarkemman mallin. Kuitenkin enemmän ominaisuuksia ei välttämättä tarkoita parempaa mallia.

Aineiston ominaisuudet voivat vaihdella suuresti sen suhteen, kuinka hyödyllisiä ne ovat mallille, ja useat ominaisuudet ovat vain vähän merkityksellisiä. Lisäksi mitä enemmän aineistossa on ominaisuuksia, sitä enemmän näytteitä tarvitaan varmistamaan, että eri ominaisuuksien yhdistelmät ovat hyvin edustettuina aineistossa. Tämän seurauksena näytteiden määrä kasvaa suhteessa ominaisuuksien määrään. Enemmän näytteitä ja enemmän ominaisuuksia tarkoittaa, että mallin on oltava monimutkaisempi, ja mitä monimutkaisemmaksi mallit tulevat, sitä herkemmin ne altistuvat ylioppimiselle. Malli oppii liian hyvin koulutusaineistosta ja se ei pysty yleistämään aineistoon, jota ei ole koulutettu.

Aineiston ulottuvuuden vähentäminen on useita etuja. Kuten mainittiin, yksinkertaisemmat mallit ovat vähemmän alttiita ylioppimiselle, koska mallin on tehtävä vähemmän oletuksia siitä, miten ominaisuudet liittyvät toisiinsa. Lisäksi vähemmän ulottuvuuksia tarkoittaa, että vähemmän laskentakapasiteettia tarvitaan algoritmien kouluttamiseen. Samoin vähemmän ulottuvuuksia tarkoittaa, että vähemmän tallennustilaa tarvitaan aineistolle, jolla on pienempi ulottuvuus. Aineiston ulottuvuuden vähentäminen voi myös mahdollistaa algoritmien käytön, jotka eivät sovellu aineistoihin, joissa on paljon ominaisuuksia.

Yleiset dimensioanalennusmenetelmät

Dimensioanalennusta voidaan tehdä joko ominaisuuden valinnalla tai ominaisuuden suunnittelulla. Ominaisuuden valinta on prosessi, jossa insinööri tunnistaa aineiston merkittävimmät ominaisuudet, kun taas ominaisuuden suunnittelu on prosessi, jossa luodaan uusia ominaisuuksia yhdistämällä tai muokkaamalla muita ominaisuuksia.

Ominaisuuden valinta ja suunnittelu voidaan tehdä ohjelmallisesti tai manuaalisesti. Kun ominaisuuksia valitaan ja suunnitellaan manuaalisesti, on tyypillistä visualisoida aineisto havainnollistamaan ominaisuuksien ja luokkien välisiä korrelaatioita. Dimensioanalennuksen suorittaminen tällä tavoin voi olla hyvin aikaa vievää, ja siksi yleisimmissä tapauksissa dimensioanalennusta varten käytetään kirjastojen, kuten Scikit-learnin, algoritmeja. Nämä yleiset dimensioanalennusalgoritmit ovat pääkomponenttianalyysi (PCA), yksinkertainen arvojen hajotelma (SVD) ja lineaariset erotteluanalyysit (LDA).

Valvomattomissa oppimistehtävissä käytettävät dimensioanalennusalgoritmit ovat tyypillisesti PCA ja SVD, kun taas valvottujen oppimistehtävien dimensioanalennuksessa käytetään tyypillisesti LDA:ta ja PCA:ta. Valvottujen oppimistehtävien mallien tapauksessa uudet ominaisuudet syötetään suoraan koneoppimismalliin. Huomaa, että tässä kuvatut käytöt ovat yleisiä käyttötarkoituksia eivätkä ainoita tilanteita, joissa näitä tekniikoita voidaan käyttää. Dimensioanalennusalgoritmit, joita on kuvattu yllä, ovat pelkästään tilastollisia menetelmiä, ja niitä käytetään koneoppimismallien ulkopuolella.

Pääkomponenttianalyysi

Kuva: Matriisi, jossa on pääkomponentit

Pääkomponenttianalyysi (PCA) on tilastollinen menetelmä, joka analysoi aineiston ominaisuuksia ja tiivistää ne ominaisuuksiksi, jotka ovat merkittävimmät. Aineiston ominaisuudet yhdistetään edustamaan niitä vähemmän ulottuvuuksilla. Voit ajatella tätä “pakkaamalla” aineistoa alempaan ulottuvuuteen.

Esimerkkinä tilanteesta, jossa PCA:ta voisi olla hyödyllistä, voit ajatella eri tavoja, joilla voit kuvailla viiniä. Vaikka on mahdollista kuvailla viiniä monilla erityisen tarkoilla ominaisuuksilla, kuten CO2-tasolla, happamuudella jne., nämä ominaisuudet voivat olla melko hyödyttömiä, kun yritetään tunnistaa tietynlainen viini. Sen sijaan olisi järkevämpää tunnistaa viinin tyyppi yleisemmillä ominaisuuksilla, kuten maulla, värillä ja iällä. PCA:ta voidaan käyttää yhdistämällä tarkempia ominaisuuksia ja luomalla ominaisuuksia, jotka ovat yleisempiä, hyödyllisempiä ja vähemmän alttiita ylioppimiselle.

PCA suoritetaan määrittämällä, miten syöte-ominaisuudet poikkeavat keskiarvon suhteen toisiinsa nähden, ja määrittämällä, onko ominaisuuksien välillä suhteita. Tätä varten luodaan kovarianssimatriisi, joka koostuu ominaisuuksien keskinäisistä kovariansseista. Tämä käytetään määrittämään muuttujien väliset korrelaatiot, joissa negatiivinen kovarianssi osoittaa käänteisen korrelaation ja positiivinen korrelaatio osoittaa positiivisen korrelaation.

Aineiston pääkomponentit (vaikutusvaltaisimmat ominaisuudet) luodaan luomalla lineaarisia yhdistelmiä alkuperäisistä muuttujista, mikä tehdään lineaarialgebran käsitteiden, ominaisarvojen ja omivektoreiden, avulla. Yhdistelmät luodaan siten, että pääkomponentit eivät ole korreloivia toisiinsa. Alkuperäisistä muuttujista suurin osa tiedosta on pakattu ensimmäisiin pääkomponentteihin, mikä tarkoittaa, että on luotu uusia ominaisuuksia (pääkomponentteja), jotka sisältävät alkuperäisen aineiston tiedon pienemmässä ulottuvuudessa.

Yksinkertainen arvojen hajotelma

Kuva: Yksinkertainen arvojen hajotelma

Yksinkertainen arvojen hajotelma (SVD) on menetelmä, jolla voidaan yksinkertaisuttaa matriisin arvoja ja tehdä laskutoimitukset helpommaksi. SVD voidaan käyttää sekä reaalisten että kompleksisten matriisien kanssa, mutta tässä selityksessä tarkastelemme, miten reaalisten arvojen matriisia voidaan hajottaa.

Oletetaan, että meillä on matriisi, joka koostuu reaaliluvuista, ja tavoitteemme on vähentää matriisin sarakkeiden/ominaisuuksien määrää. Kuten PCA:ssa, SVD:ssä pyritään pakkaamaan matriisin ulottuvuus siten, että säilytetään mahdollisimman paljon matriisin vaihtelua. Jos haluamme toimia matriisi A:lla, voimme edustaa matriisia A kolmena muuna matriisina, U, D ja V. Matriisi A koostuu alkuperäisistä x * y -alkioista, kun taas matriisi U koostuu ortogonaalisista alkioista, jotka ovat kooltaan X * X. Matriisi V on toinen ortogonaalinen matriisi, joka koostuu y * y -alkioista. Matriisi D sisältää x * y -alkiot, ja se on diagonaali-matriisi.

Jotta voisimme hajottaa matriisi A:n arvot, meidän on muunnettava alkuperäiset yksinkertaiset matriisiarvot uuden matriisin diagonaaliarvoiksi. Koska ortogonaalisten matriisien ominaisuudet eivät muutu, kun ne kerrotaan toisilla luvuilla, voimme approksimoida matriisia A ottamalla hyödyksi tätä ominaisuutta. Kun ortogonaaliset matriisit kerrotaan toistensa kanssa ja matriisi V transponoidaan, tuloksena on matriisi, joka on vastaava kuin alkuperäinen matriisi A.

Kun matriisi A on hajotettu matriisien U, D ja V avulla, ne sisältävät tiedon, joka on matriisissa A. Kuitenkin vasemmanpuoleiset sarakkeet näissä matriiseissa sisältävät suurimman osan tiedosta. Voimme ottaa vain nämä ensimmäiset sarakkeet ja saada edustuksen matriisista A, jolla on paljon vähemmän ulottuvuuksia ja suurin osa tiedosta A:sta.

Lineaariset erotteluanalyysit

Vasen: Matriisi ennen LDA:ta, Oikea: Akseleita LDA:n jälkeen, nyt erottuvat</caption]

Lineaariset erotteluanalyysit (LDA) on prosessi, joka ottaa dataa moniulotteisesta kaaviosta ja projisoi sen lineaariseen kaavioon. Voit kuvitella tämän ajattelemalla kaksiulotteista kaaviota, jossa on data-pisteitä, jotka kuuluvat kahteen eri luokkaan. Oletetaan, että pisteet ovat hajallaan siten, että mikään viiva ei voi erottaa kahta luokkaa. Tässä tapauksessa 2D-kaavion pisteet voidaan vähentää 1D-kaavioon (viivaan). Tämä viiva sisältää kaikki data-pisteet, ja se voidaan jakaa kahteen osaan, jotka edustavat parasta mahdollista datan erottelua.

Kun suoritetaan LDA, on kaksi päämaalia. Ensimmäinen tavoite on minimoida luokkien vaihtelu, ja toinen tavoite on maksimoida etäisyys luokkien keskiarvojen välillä. Nämä tavoitteet saavutetaan luomalla uusi aksele, joka erottaa kaksi luokkaa edellä kuvattujen tavoitteiden mukaisesti. Uuden akselin luomisen jälkeen 2D-kaavion pisteet asetetaan akselelle.

On kolme askelta, joita on tehtävä siirtääksesi alkuperäiset pisteet uudelle akselelle. Ensimmäisessä vaiheessa lasketaan luokkien keskiarvojen (luokkien välinen vaihtelu) etäisyys, jotta voidaan laskea luokkien erottuvuus. Toisessa vaiheessa lasketaan luokkien sisäinen vaihtelu määrittämällä etäisyys näyte- ja luokan keskiarvon välillä. Lopullisessa vaiheessa luodaan alempiulotteinen avaruus, joka maksimoi vaihtelun luokkien välillä.

LDA-teknologia saa parhaat tuloksensa, kun kohdeluokkien keskiarvot ovat kaukana toisistaan. LDA ei voi erottaa luokkia lineaarisella akselella, jos keskiarvot jakautuvat.