Mikä on Lineaari Regressio?

Mikä on Lineaari Regressio?

Lineaari regressio on algoritmi, jota käytetään ennustamaan tai visualisoimaan suhdetta kahden eri ominaisuuden/muuttujan välillä. Lineaari regressio tehtävissä on kaksi tyyppiä muuttujia, joita tutkitaan: riippuvainen muuttuja ja riippumaton muuttuja. Riippumaton muuttuja on muuttuja, joka on itsenäinen eikä ole vaikuttunut toiseen muuttujaan. Kun riippumatonta muuttujaa säätellään, riippuvan muuttujan tasot vaihtelevat. Riippuvainen muuttuja on muuttuja, jota tutkitaan, ja se on se, mihin regressiomalli pyrkii ratkaisemaan tai ennustamaan. Lineaari regressio tehtävissä jokainen havainto/esiintymä koostuu sekä riippuvan muuttujan arvosta että riippumattoman muuttujan arvosta.

Tämä oli nopea selitys lineaari regressiosta, mutta varmistetaan, että saadaan parempi ymmärrys lineaari regressiosta tarkastelemalla esimerkkiä siitä ja tutkimalla kaavaa, jota se käyttää.

Ymmärtäminen Lineaari Regressio

Oletetaan, että meillä on tietokanta, joka kattaa kiintolevyjen koot ja niiden hinnat.

Oletetaan, että meillä on tietokanta, joka koostuu kahdesta eri ominaisuudesta: muistin määrästä ja kustannuksista. Mitä enemmän muistia ostetaan tietokoneeseen, sitä enemmän ostoksen hinta nousee. Jos piirrettäisiin yksittäiset datapisteet pisteettäessä, saataisiin graafi, joka näyttää jotain tältä:

Tarkan muisti-kustannus-suhteen voi vaihdella valmistajien ja kiintolevyjen mallejen mukaan, mutta yleisesti ottaen datan trendi on sellainen, joka alkaa alhaalta vasemmasta (missä kiintolevyt ovat sekä halvempia että pienempiä) ja siirtyy yläoikealle (missä aseet ovat kalliimpia ja suurempia).

Jos asetettaisiin muisti akseleille ja kustannukset Y-akselelle, lineaari suhde X- ja Y-muuttujien välillä olisi linea, joka alkaa alhaalta vasemmasta ja kulkee yläoikealle.

Regressiomallin tehtävä on määrittää lineaarinen funktio X- ja Y-muuttujien välillä, joka parhaiten kuvaa suhdetta kahden muuttujan välillä. Lineaari regressiossa oletetaan, että Y voidaan laskea jostakin syötemuuttujien yhdistelmästä. Suhteen X- (syöte-) ja Y- (kohde-) muuttujien välillä voidaan havainnollistaa piirtämällä linea datapisteiden läpi. Linja edustaa funktiota, joka parhaiten kuvaa suhdetta X:n ja Y:n välillä (esim. jokaisen X:n kasvun aikana Y kasvaa 2). Tavoitteena on löytää optimaalinen “regressio linja” eli linja/funktio, joka parhaiten sopii dataan.

Linjoja edustetaan yleensä kaavalla: Y = m * X + b. X viittaa riippumattomaan muuttujaan, kun taas Y on riippuvainen muuttuja. Samalla m on linjan kulma, määritelty “nousun” ja “juoksun” suhteen. Koneoppimisen harjoittajat edustavat kuuluisaa kulma-linjan kaavaa hieman eri tavalla, käyttäen tätä kaavaa sen sijaan:

y(x) = w0 + w1 * x

Yllä olevassa kaavassa y on kohde-muuttuja, kun taas “w” on mallin parametreja ja syöte on “x”. Kaava luetaan: “Funktio, joka antaa Y:n riippuen X:stä, on yhtä suuri kuin mallin parametreja kerrottuna ominaisuuksilla”. Mallin parametreja säätellään koulutuksen aikana saadakseen parhaan sopivan regressio linjan.

Moniulotteinen Lineaari Regressio

Kuva: Cbaf via Wikimedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:2d_multiple_linear_regression.gif)

Yllä kuvattu prosessi koskee yksinkertaista lineaarista regressiota eli regressiota, jossa on vain yksi ominaisuus/riippumaton muuttuja. Regressiota voidaan kuitenkin tehdä myös useiden ominaisuuksien kanssa. Moniulotteisessa lineaarisessa regressiossa kaava laajenee löydettyjen muuttujien määrällä. Toisin sanoen, kun yksinkertaisen lineaarisen regressio kaava on y(x) = w0 + w1 * x, moniulotteisen lineaarisen regressio kaava olisi y(x) = w0 + w1x1 plussa painot ja syötteet eri ominaisuuksille. Jos edustamme kaikkien painojen ja ominaisuuksien yhteistä määrää w(n)x(n):na, voimme esittää kaavan seuraavasti:

y(x) = w0 + w1x1 + w2x2 + … + w(n)x(n)

Lineaarisessa regressio kaavan määrittämisen jälkeen koneoppimismalli käyttää eri arvoja painoille ja piirtää eri sovite linjoja. Muista, että tavoitteena on löytää linja, joka parhaiten sopii dataan, jotta voidaan määrittää, mikä mahdollinen painojen yhdistelmä (ja siten mikä mahdollinen linja) sopii parhaiten dataan ja selittää muuttujien välisen suhteen.

Kustannusfunktiota käytetään mittaamaan, kuinka lähellä oletetut Y-arvot ovat todellisista Y-arvoista annetulla painoarvolla. Lineaarisessa regressiossa kustannusfunktioksi käytetään keskineliövirhettä, joka laskee keskimääräisen (neliöitetyn) virheen ennustetun arvon ja todellisen arvon välillä kaikissa datapisteissä. Kustannusfunktiota käytetään laskea kustannus, joka havainnollistaa ennustetun kohdearvon ja todellisen kohdearvon välisen eron. Jos sovite linja on kaukana datapisteistä, kustannus on suurempi, kun taas kustannus pienenee, kun linja lähestyy datapisteiden välisen suhteen havainnollistamista. Mallin painot säätellään, kunnes löydetään painojen konfiguraatio, joka tuottaa pienimmän määrän virhettä.