Vad är Support Vector Machines?

Vad är Support Vector Machines?

Support Vector Machines är en typ av maskinlärningsklassificerare, som kan anses vara en av de mest populära typerna av klassificerare. Support Vector Machines är särskilt användbara för numerisk prediktion, klassificering och mönsterigenkänning.

Support Vector Machines fungerar genom att rita beslutsgränser mellan datapunkter, med målet att hitta den beslutsgräns som bäst separerar datapunkterna i klasser (eller är den mest allmängiltiga). Målet när man använder en Support Vector Machine är att beslutsgränsen mellan punkterna ska vara så stor som möjligt, så att avståndet mellan en given datapunkt och gränsen är maximalt. Det är en snabb förklaring av hur Support Vector Machines (SVMs) fungerar, men låt oss ta någon tid att dyka djupare in i hur SVMs fungerar och förstå logiken bakom deras funktion.

Målet med Support Vector Machines

Tänk dig en graf med ett antal datapunkter på den, baserat på funktioner som specificeras av x- och y-axlarna. Datapunkterna på grafen kan grovt delas in i två olika kluster, och klustret som en datapunkt tillhör indikerar klassen för datapunkten. Anta att vi vill rita en linje genom grafen som separerar de två klasserna från varandra, med alla datapunkter i en klass på ena sidan av linjen och alla datapunkter som tillhör en annan klass på andra sidan av linjen. Denna separerande linje kallas en hyperplan.

Du kan tänka dig en Support Vector Machine som skapar “vägar” genom en stad, som separerar staden i distrikt på båda sidor av vägen. Alla byggnader (datapunkter) som finns på ena sidan av vägen tillhör ett distrikt.

Målet med en Support Vector Machine är inte bara att rita hyperplaner och separera datapunkter, utan att rita hyperplanen som separerar datapunkter med den största marginalen, eller med mest utrymme mellan den separerande linjen och en given datapunkt. Om vi återgår till “väg”-metaforen, om en stadsplanerare ritare planer för en motorväg, vill de inte att motorvägen ska vara för nära hus eller andra byggnader. Ju större marginalen mellan motorvägen och byggnaderna på båda sidor, desto bättre. Ju större denna marginal är, desto mer “säker” kan klassificeraren vara på sina prediktioner. I fallet med binär klassificering innebär att rita den rätta hyperplanen att välja en hyperplan som ligger mitt emellan de två olika klasserna. Om beslutsgränsen/hyperplanen är längre ifrån en klass, kommer den att vara närmare en annan. Därför måste hyperplanen balansera marginalen mellan de två olika klasserna.

Beräkning av den separerande hyperplanen

Så hur bestämmer en Support Vector Machine den bästa separerande hyperplanen/beslutsgränsen? Detta uppnås genom att beräkna möjliga hyperplaner med en matematisk formel. Vi kommer inte att gå in på formeln för att beräkna hyperplaner i extrem detalj, men linjen beräknas med den berömda lutnings-/linjeformeln:

Y = ax + b

Samtidigt består linjer av punkter, vilket innebär att varje hyperplan kan beskrivas som: uppsättningen punkter som löper parallellt med den föreslagna hyperplanen, som bestäms av modellens vikter gånger uppsättningen funktioner modifierad av en specificerad offset/bias (“d”).

SVMs ritar många hyperplaner. Till exempel är gränslinjen en hyperplan, men datapunkterna som klassificeraren överväger är också på hyperplaner. Värdena för x bestäms baserat på funktionerna i datamängden. Om du till exempel hade en datamängd med höjder och vikter för många människor, skulle “höjd” och “vikt” vara funktionerna som används för att beräkna “X”. Marginalerna mellan den föreslagna hyperplanen och de olika “stödvektorerna” (datapunkter) som finns på båda sidor av den separerande hyperplanen beräknas med följande formel:

W * X – b

Medan du kan läsa mer om matematiken bakom SVMs, om du letar efter en mer intuitiv förståelse av dem, veta att målet är att maximera avståndet mellan den föreslagna separerande hyperplanen/gränsen och de andra hyperplanerna som löper parallellt med den (och på vilka datapunkterna finns).

Foto: ZackWeinberg via Wikimedia Commons, CC BY SA 3.0 (https://commons.wikimedia.org/wiki/File:Svm_separating_hyperplanes_(SVG).svg)

Flerklassklassificering

Processen som beskrivits hittills gäller för binära klassificeringsuppgifter. Men SVM-klassificerare kan också användas för icke-binära klassificeringsuppgifter. När man utför SVM-klassificering på en datamängd med tre eller fler klasser, används fler gränslinjer. Till exempel, om en klassificeringsuppgift har tre klasser istället för två, kommer två gränslinjer att användas för att separera datapunkter i klasser och området som utgör en enda klass kommer att ligga mellan två gränslinjer istället för en. Istället för att bara beräkna avståndet mellan två klasser och en beslutsgräns, måste klassificeraren överväga marginalerna mellan beslutsgränserna och de flera klasserna inom datamängden.

Icke-linjära separationer

Processen som beskrivits ovan gäller för fall där data är linjärt separerbara. Observera att, i verkligheten, är datamängder nästan aldrig helt linjärt separerbara, vilket innebär att när du använder en SVM-klassificerare, kommer du ofta att behöva använda två olika tekniker: mjuk marginal och kernel-tricks. Överväg en situation där datapunkter av olika klasser är blandade, med vissa instanser som tillhör en klass i “klustret” av en annan klass. Hur kunde du ha klassificeraren hantera dessa instanser?

En taktik som kan användas för att hantera icke-linjärt separerbara datamängder är att använda en “mjuk marginal” SVM-klassificerare. En mjuk marginal klassificerare fungerar genom att acceptera ett fåtal felklassificerade datapunkter. Den kommer att försöka rita en linje som bäst separerar datapunktsklustren från varandra, eftersom de innehåller de flesta instanserna som tillhör deras respektive klasser. Mjuk marginal SVM-klassificeraren försöker skapa en gräns som balanserar de två kraven på klassificeraren: noggrannhet och marginal. Den kommer att försöka minimera felklassificeringen samtidigt som den maximalt utnyttjar marginalen.

SVMs tolerans för fel kan justeras genom manipulation av en hyperparameter som kallas “C”. C-värdet kontrollerar hur många stödvektorer klassificeraren överväger när den ritar beslutsgränser. C-värdet är en straff som tillämpas på felklassificeringar, vilket innebär att ju större C-värdet är, desto färre stödvektorer klassificeraren tar i beaktande och desto smalare marginalen.

Kernel-tricken transformerar data i en icke-linjär form. Foto: Shiyu Ju via Wikmedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Kernel_trick_idea.svg)

Kernel-tricken fungerar genom att tillämpa icke-linjära transformationer på funktionerna i datamängden. Kernel-tricken tar de befintliga funktionerna i datamängden och skapar nya funktioner genom att tillämpa icke-linjära matematiska funktioner. Vad som resulterar från tillämpningen av dessa icke-linjära transformationer är en icke-linjär beslutsgräns. Eftersom SVM-klassificeraren inte längre är begränsad till att rita linjära beslutsgränser, kan den börja rita krökta beslutsgränser som bättre omfattar den verkliga fördelningen av stödvektorerna och bringar felklassificeringar till ett minimum. Två av de mest populära icke-linjära kärnorna för SVM är Radial Basis Function och Polynom. Polynomfunktionen skapar polynomkombinationer av alla befintliga funktioner, medan Radial Basis Function genererar nya funktioner genom att mäta avståndet mellan en central punkt/punkter till alla andra punkter.