Hva er lineær regresjon?

Hva er lineær regresjon?

Lineær regresjon er en algoritme som brukes til å forutsi eller visualisere en relasjon mellom to forskjellige variabler. I lineær regresjon, er det to typer variabler som undersøkes: den avhengige variabel og den uavhengige variabel. Den uavhengige variabel er den variabelen som står for seg selv, uten å være påvirket av den andre variabelen. Når den uavhengige variabelen justeres, vil nivået av den avhengige variabelen fluctuere. Den avhengige variabelen er den variabelen som studeres, og det er hva regresjonsmodellen løser for eller forsøker å forutsi. I lineær regresjon, består hver observasjon/eksempel av både den avhengige variabelverdien og den uavhengige variabelverdien.

Dette var en kort forklaring av lineær regresjon, men la oss sikre at vi kommer til en bedre forståelse av lineær regresjon ved å se på et eksempel og undersøke formelen den bruker.

Forstå lineær regresjon

Anta at vi har en datasett som dekker harddisk-størrelser og kostnaden av disse harddiskene.

La oss anta at datasettene våre består av to forskjellige variabler: mengden minne og kostnad. Jo mer minne vi kjøper for en datamaskin, jo mer øker kostnaden av kjøpet. Hvis vi plottet ut de enkelte datapunktene på et spredningsdiagram, kunne vi få et graf som ser ut sånn:

Den nøyaktige forholdet mellom minne og kostnad kan variere mellom produsenter og modeller av harddisker, men generelt sett er trenden i data en som starter i nedre venstre hjørne (der harddisker er både billigere og har mindre kapasitet) og beveger seg til øvre høyre (der harddiskene er dyrere og har høyere kapasitet).

Hvis vi hadde mengden minne på x-aksen og kostnaden på y-aksen, ville en linje som fanger relasjonen mellom x- og y-variablene starte i nedre venstre hjørne og løpe til øvre høyre.

Funksjonen til en regresjonsmodell er å bestemme en lineær funksjon mellom x- og y-variablene som best beskriver relasjonen mellom de to variablene. I lineær regresjon, antas det at y kan beregnes fra en kombinasjon av inndata-variablene. Relasjonen mellom inndata-variablene (x) og mål-variablene (y) kan portretteres ved å tegne en linje gjennom punktene i grafen. Linjen representerer funksjonen som best beskriver relasjonen mellom x og y (for eksempel, for hvert punkt x øker med 3, øker y med 2). Målet er å finne en optimal “regresjonslinje”, eller linjen/funksjonen som best passer til dataene.

Linjer blir vanligvis representert av ligningen: Y = m*X + b. X refererer til den avhengige variabelen, mens Y er den uavhengige variabelen. Mens m er linjens helning, definert som “stigning” over “løp”. Maskinlæringspraktikere representerer den berømte helnings-ligningen på en litt annen måte, ved å bruke denne ligningen isteden:

y(x) = w0 + w1 * x

I ligningen over, er y mål-variabelen, mens “w” er modellens parametre og inndata er “x”. Så ligningen leses som: “Funksjonen som gir Y, avhengig av X, er lik modellens parametre multiplisert med funksjonene”. Modellens parametre justeres under trening for å få den beste tilpassede regresjonslinjen.

Flere lineær regresjon

Foto: Cbaf via Wikimedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:2d_multiple_linear_regression.gif)

Prosessen som er beskrevet over, gjelder for enkel lineær regresjon, eller regresjon på datasett hvor det bare er en enkelt variabel/uavhengig variabel. Men en regresjon kan også gjøres med flere variabler. I tilfelle “flere lineær regresjon“, utvides ligningen med antall variabler funnet i datasett. Med andre ord, mens ligningen for vanlig lineær regresjon er y(x) = w0 + w1 * x, ville ligningen for flere lineær regresjon være y(x) = w0 + w1x1 pluss vektene og inndata for de forskjellige variablene. Hvis vi representerer det totale antall vekter og variabler som w(n)x(n), kunne vi representere formelen slik:

y(x) = w0 + w1x1 + w2x2 + … + w(n)x(n)

Etter å ha etablert formelen for lineær regresjon, vil maskinlæringsmodellen bruke forskjellige verdier for vektene, og tegne forskjellige linjer for tilpasning. Husk at målet er å finne linjen som best passer til dataene for å bestemme hvilken av de mulige vekt-kombinasjonene (og dermed hvilken mulig linje) best passer til dataene og forklarer relasjonen mellom variablene.

En kostnadsfunksjon brukes til å måle hvor nære de antatte Y-verdiene er til de faktiske Y-verdiene når en bestemt vektverdi gis. Kostnadsfunksjonen for lineær regresjon er gjennomsnittlig kvadratisk feil, som bare tar gjennomsnittet (kvadrert) feil mellom den forutsagte verdien og den sanne verdien for alle datapunktene i datasett. Kostnadsfunksjonen brukes til å beregne en kostnad, som fanger forskjellen mellom den forutsagte målverdien og den sanne målverdien. Hvis tilpasningslinjen er langt fra datapunktene, vil kostnaden være høyere, mens kostnaden blir mindre jo nærmere linjen kommer til å fange de sanne relasjonene mellom variablene. Vektene til modellen justeres deretter til den vekt-konfigurasjonen som produserer den minste feilen, blir funnet.