Mitkä ovat tukivektorikoneet?

Mitkä ovat tukivektorikoneet?

Tukivektorikoneet ovat tyyppi konenäköluokittelijoista, jotka ovat yksi suosituimmista luokittelijoista. Tukivektorikoneet ovat erityisen hyödyllisiä numeerisen ennusteen, luokittelun ja mallintunnistamistehtävien suorittamiseen.

Tukivektorikoneet toimivat piirtämällä päätösrajoja datapisteiden välille, pyrkien siihen, että päätösraja on paras mahdollinen ja että se erottaa datapisteet luokkiin (tai on yleisesti ottaen paras). Tukivektorikoneen tavoitteena on, että päätösraja datapisteiden välillä on mahdollisimman suuri, jotta etäisyys minkä tahansa datapisteen ja rajan välillä on maksimoitu. Tämä on nopea selitys siitä, miten tukivektorikoneet (SVM) toimivat, mutta otetaan hieman aikaa tutkimaan, miten SVM:t toimivat ja ymmärtämään logiikkaa niiden toiminnassa.

Tukivektorikoneiden tavoite

Kuvitellaan graafi, jossa on useita datapisteitä, jotka perustuvat X- ja Y-akseleiden määrittämiin ominaisuuksiin. Datapisteet graafissa voidaan karkeasti jakaa kahteen eri ryhmään, ja ryhmä, johon datapiste kuuluu, osoittaa datapisteen luokan. Oletetaan, että haluamme piirtää graafiin viivan, joka erottaa kaksi luokkaa toisistaan, jotta kaikki datapisteet, jotka kuuluvat yhteen luokkaan, ovat toisella puolella viivaa ja datapisteet, jotka kuuluvat toiseen luokkaan, ovat toisella puolella viivaa. Tämä erottava viiva on hyperplane.

Voi ajatella tukivektorikoneen luovan “teitä” kaupungin läpi, jakavat kaupungin eri alueisiin. Kaikki rakennukset (datapisteet), jotka sijaitsevat tiellä, kuuluvat yhteen alueeseen.

Tukivektorikoneen tavoitteena ei ole ainoastaan piirtää hyperplaneja ja erottaa datapisteitä, vaan piirtää hyperplane, joka erottaa datapisteet suurimmalla marginaalilla, eli suurimmalla etäisyydellä jakoviivasta ja minkä tahansa datapisteestä. Palataan “teiden” metaforaan, jos kaupunkisuunnittelija piirtää suunnitelman moottoritielle, hän ei halua, että moottoritie on liian lähellä taloja tai muita rakennuksia. Mitä suurempi marginaali moottoritien ja rakennusten välillä on, sitä parempi. Mitä suurempi tämä marginaali on, sitä varmemmin luokittelija voi olla ennusteistaan. Binäärisessä luokittelussa oikean hyperplanen valitseminen tarkoittaa, että hyperplane on valittu niin, että se on keskellä kahta eri luokkaa. Jos päätösraja/hyperplane on kauempana toisesta luokasta, se on lähempänä toista luokkaa. Siksi hyperplanen on oltava tasapainossa marginaalin välillä kahta eri luokkaa.

Erottavan hyperplanen laskeminen

Miten tukivektorikone määrittää parhaan erottavan hyperplanen/päätösrajan? Tämä saavutetaan laskemalla mahdollisia hyperplaneja matemaattisella kaavalla. Emme käy tässä tarkasti läpi hyperplanen laskemisen kaavaa , mutta viiva lasketaan kuuluisalla kulma/linjan kaavalla:

Y = ax + b

Linjat koostuvat pisteistä, mikä tarkoittaa, että mikä tahansa hyperplane voidaan kuvailla pisteiden joukkona, jotka ovat rinnakkaisia ehdotetun hyperplanen kanssa, kuten mallin painot ja määritetyllä siirtymällä/biassilla (“d”) muokatun ominaisuusjoukon avulla.

Tukivektorikoneet piirtävät useita hyperplaneja. Esimerkiksi rajaviiva on yksi hyperplane, mutta luokittelijan käyttämät datapisteet ovat myös hyperplaneilla. X-arvon määrittäminen perustuu ominaisuuksiin, jotka on määritelty datasetissä. Esimerkiksi, jos sinulla on datasetti, jossa on ihmisten pituudet ja painot, “pituus” ja “paino” ominaisuudet olisivat ominaisuuksia, joita käytetään “X”:n laskemiseen. Hyperplanen ja eri “tukivektorien” (datapisteiden) välisen marginaalin laskeminen perustuu seuraavaan kaavaan:

W * X – b

Voit lukea lisää SVM:n takana olevasta matematiikasta, mutta jos etsit intuitiivisempaa ymmärrystä niistä, tiedä, että tavoitteena on maksimoida etäisyys ehdotetun erottavan hyperplanen/rajan ja muiden hyperplanejen välillä, jotka ovat rinnakkaisia sille (ja joilla datapisteet sijaitsevat).

Kuva: ZackWeinberg via Wikimedia Commons, CC BY SA 3.0 (https://commons.wikimedia.org/wiki/File:Svm_separating_hyperplanes_(SVG).svg)

Moniluokkainen luokittelu

Edellä kuvattu prosessi koskee binäärisiä luokittelutehtäviä. Kuitenkin SVM-luokittelijoita voidaan käyttää myös ei-binäärisissä luokittelutehtävissä. Kun tehdään SVM-luokittelua datasettiin, jossa on kolme tai useampi luokka, käytetään useampia jakoviivoja. Esimerkiksi, jos luokittelutehtävällä on kolme luokkaa, käytetään kahta jakoviivaa datapisteiden jakamiseen luokkiin, ja alue, joka kuuluu yhteen luokkaan, sijaitsee kahden jakoviivan välissä. Sen sijaan, että lasketaan vain etäisyys kahden luokan ja päätösrajan välillä, luokittelijan on otettava huomioon marginaalit päätösrajojen ja useiden luokkien välillä datasetissä.

Ei-lineaariset erot

Edellä kuvattu prosessi koskee tapauksia, joissa data on lineaarisesti erottuvaa. Huomaa, että käytännössä datasetit eivät ole koskaan täysin lineaarisesti erottuvia, mikä tarkoittaa, että tukivektorikoneen käytön aikana on usein käytettävä kahta eri tekniikkaa: pehmeä marginaali ja kernel-temppu. Mieti tilannetta, jossa datapisteet eri luokista ovat sekoittuneina, ja joitakin esiintymisiä kuuluu toiseen luokkaan “toisen luokan” ryhmässä. Miten luokittelija voisi käsitellä nämä esiintymät?

Yksi taktiikka, jota voidaan käyttää ei-lineaarisesti erottuvien datasetien käsittelyyn, on pehmeän marginaalin tukivektorikoneen soveltaminen. Pehmeä marginaali -luokittelija toimii hyväksymällä joitakin väärin luokiteltuja datapisteitä. Se yrittää piirtää viivan, joka parhaiten erottaa datapisteiden ryhmät toisistaan, koska ne sisältävät useimmat esiintymät, jotka kuuluvat niiden luokkiin. Pehmeä marginaali -luokittelija yrittää luoda jakoviivan, joka tasapainottaa luokittelijan kaksi vaatimusta: tarkkuuden ja marginaalin. Se yrittää minimoida väärinluokittelun samalla, kun se maksimoi marginaalin.

Tukivektorikoneen virhetoleranssi voidaan säätää muuttamalla hyperparametria “C”:n arvoa. C-arvo ohjaa sitä, kuinka monta tukivektoria luokittelija ottaa huomioon piirtäessään päätösrajoja. C-arvo on rangaistus, jota sovelletaan väärinluokitteluun, mikä tarkoittaa, että mitä suurempi C-arvo on, sitä vähemmän tukivektoreita luokittelija ottaa huomioon ja sitä kapeampi marginaali on.

Kernel-temppu muuttaa datan ei-lineaarisesti ja muuttaa sitä. Kuva: Shiyu Ju via Wikmedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Kernel_trick_idea.svg)

Kernel-temppu toimii soveltamalla ei-lineaarisia matemaattisia funktioita datasetin ominaisuuksiin. Kernel-temppu ottaa olemassa olevat ominaisuudet datasetistä ja luo uusia ominaisuuksia soveltamalla ei-lineaarisia matemaattisia funktioita. Tämän seurauksena on ei-lineaarinen päätösraja. Koska tukivektorikoneen luokittelija ei ole enää rajoitettu piirtämään lineaarisia päätösrajoja, se voi alkaa piirtää kaarevia päätösrajoja, jotka paremmin kuvaavat tukivektoreiden todellisen jakautumisen ja vähentävät väärinluokittelua. Kaksi suosituinta ei-lineaarista SVM-ydintä ovat Radiaalinen Basisfunktio ja Polynomi. Polynomifunktio luo polynomisia yhdistelmiä kaikista olemassa olevista ominaisuuksista, kun taas Radiaalinen Basisfunktio luo uusia ominaisuuksia mittaamalla etäisyyden keskipisteen/pisteiden ja muiden pisteiden välillä.