Co to są Maszyny Wektorowe Wspierające?

Co to są Maszyny Wektorowe Wspierające?

Maszyny wektorowe wspierające są rodzajem klasyfikatora uczenia maszynowego, być może jednym z najpopularniejszych rodzajów klasyfikatorów. Maszyny wektorowe wspierające są szczególnie przydatne do zadania predykcji numerycznej, klasyfikacji i rozpoznawania wzorców.

Maszyny wektorowe wspierające działają poprzez rysowanie granic decyzyjnych między punktami danych, dążąc do granicy decyzyjnej, która najlepiej separuje punkty danych na klasy (lub jest najbardziej ogólna). Celem podczas korzystania z maszyny wektorowej wspierającej jest to, aby granica decyzyjna między punktami była jak największa, tak aby odległość między dowolnym punktem danych a linią graniczną była maksymalna. To jest szybkie wyjaśnienie, jak maszyny wektorowe wspierające (SVM) działają, ale pozwólmy sięgnąć głębiej w to, jak SVM działają i zrozumieć logikę ich działania.

Cel Maszyn Wektorowych Wspierających

Wyobraź sobie wykres z pewną liczbą punktów danych, opartych na cechach określonych przez osie X i Y. Punkty danych na wykresie można luźno podzielić na dwie różne grupy, a grupa, do której należy punkt danych, wskazuje klasę punktu danych. Załóżmy, że chcemy narysować linię na wykresie, która separuje dwie klasy od siebie, z wszystkimi punktami danych w jednej klasie po jednej stronie linii i wszystkimi punktami danych należącymi do innej klasy po drugiej stronie linii. Ta separująca linia jest znana jako hiperpłaszczyzna.

Można myśleć o maszynie wektorowej wspierającej jako o tworzeniu “dróg” w całym mieście, separując miasto na dzielnice po obu stronach drogi. Wszystkie budynki (punkty danych) po jednej stronie drogi należą do jednej dzielnicy.

Cel maszyny wektorowej wspierającej nie jest tylko rysowanie hiperpłaszczyzn i separowanie punktów danych, ale rysowanie hiperpłaszczyzny, która separuje punkty danych z największym marginesem, czyli z największą przestrzenią między linią dzielącą a dowolnym punktem danych. Wracając do metafory “dróg”, jeśli planista miasta tworzy plany autostrady, nie chce, aby autostrada była zbyt blisko domów lub innych budynków. Im większy margines między autostradą a budynkami po obu stronach, tym lepiej. Im większy ten margines, tym bardziej “pewny” może być klasyfikator co do swoich predykcji. W przypadku klasyfikacji binarnej rysowanie prawidłowej hiperpłaszczyzny oznacza wybór hiperpłaszczyzny, która jest dokładnie w środku dwóch różnych klas. Jeśli granica decyzyjna/hiperpłaszczyzna jest dalej od jednej klasy, będzie bliżej innej. Dlatego hiperpłaszczyzna musi balansować margines między dwiema różnymi klasami.

Obliczanie Separującej Hiperpłaszczyzny

Jak maszyna wektorowa wspierająca określa najlepszą separującą hiperpłaszczyznę/granicę decyzyjną? To jest osiągane poprzez obliczanie możliwych hiperpłaszczyzn przy użyciu matematycznego wzoru. Nie będziemy omawiać wzoru na obliczanie hiperpłaszczyzn w ekstremalnym szczególe, ale linia jest obliczana za pomocą słynnego wzoru nachylenia/linii:

Y = ax + b

Podczas gdy linie składają się z punktów, co oznacza, że każda hiperpłaszczyzna może być opisana jako: zestaw punktów, które biegną równolegle do proponowanej hiperpłaszczyzny, określonej przez wagi modelu pomnożone przez zestaw cech modyfikowanych przez określony przesunięcie/przesunięcie (“d”).

Maszyny wektorowe wspierające rysują wiele hiperpłaszczyzn. Na przykład linia graniczna jest jedną hiperpłaszczyzną, ale punkty danych, które klasyfikator uwzględnia, również znajdują się na hiperpłaszczyznach. Wartości x są określane na podstawie cech w zbiorze danych. Na przykład, jeśli miałbyś zestaw danych z wysokościami i wagami wielu ludzi, “wysokość” i “waga” byłyby cechami używanymi do obliczania “x”. Marginesy między proponowaną hiperpłaszczyzną a różnymi “wektorami wspierającymi” (punktami danych) znajdującymi się po obu stronach linii granicznej są obliczane za pomocą następującego wzoru:

W * X – b

Podczas gdy możesz przeczytać więcej o matematyce za maszynami wektorowymi wspierającymi, jeśli szukasz bardziej intuicyjnego zrozumienia ich, po prostu wiedz, że celem jest maksymalizacja odległości między proponowaną separującą hiperpłaszczyzną/linią graniczną a innymi hiperpłaszczyznami, które biegną równolegle do niej (i na których znajdują się punkty danych).

Zdjęcie: ZackWeinberg via Wikimedia Commons, CC BY SA 3.0 (https://commons.wikimedia.org/wiki/File:Svm_separating_hyperplanes_(SVG).svg)

Klasyfikacja Wieloklasowa

Proces opisany dotychczas dotyczy zadań klasyfikacji binarnej. Jednak klasyfikatory SVM mogą być również używane do zadań klasyfikacji niebinarnej. Podczas korzystania z klasyfikatora SVM na zestawie danych z trzema lub więcej klasami, używane są dodatkowe linie graniczne. Na przykład, jeśli zadanie klasyfikacji ma trzy klasy zamiast dwóch, używane są dwie linie graniczne do podziału punktów danych na klasy, a region, który składa się z jednej klasy, znajduje się między dwiema liniami granicznymi zamiast jednej. Zamiast obliczania odległości między tylko dwiema klasami a granicą decyzyjną, klasyfikator musi uwzględnić marginesy między granicami decyzyjnymi a wieloma klasami w zestawie danych.

Nieliniowe Separacje

Proces opisany powyżej dotyczy przypadków, w których dane są liniowo separowalne. Zwróć uwagę, że w rzeczywistości zestawy danych są prawie nigdy całkowicie liniowo separowalne, co oznacza, że podczas korzystania z klasyfikatora SVM często będziesz musiał użyć dwóch różnych technik: miękkiej granicy i sztuczek jądra. Rozważ sytuację, w której punkty danych różnych klas są pomieszane, z niektórymi przypadkami należącymi do jednej klasy w “klasterze” innej klasy. Jak można by nakazać klasyfikatorowi obsłużyć te przypadki?

Jedną taktyką, która może być użyta do obsłużenia nieliniowo separowalnych zestawów danych, jest zastosowanie “miękkiej granicy” klasyfikatora SVM. Klasyfikator o miękkiej granicy działa poprzez akceptację kilku błędnie sklasyfikowanych punktów danych. Będzie próbował narysować linię, która najlepiej separuje klastry punktów danych od siebie, ponieważ zawierają one większość przypadków należących do ich odpowiednich klas. Klasyfikator SVM o miękkiej granicy próbuje stworzyć linię graniczną, która balansuje dwa wymagania klasyfikatora: dokładność i margines. Będzie próbował minimalizować błędne klasyfikacje, jednocześnie maksymalizując margines.

Cierpliwość klasyfikatora SVM wobec błędów może być dostosowana poprzez manipulację hiperparametrem o nazwie “C”. Wartość C kontroluje, ile wektorów wspierających klasyfikator uwzględnia przy rysowaniu granic decyzyjnych. Wartość C jest karą nakładaną na błędne klasyfikacje, co oznacza, że im większa wartość C, tym mniej wektorów wspierających klasyfikator uwzględnia i tym węższy margines.

Sztuczka jądra przekształca dane w nieliniowy sposób. Zdjęcie: Shiyu Ju via Wikmedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Kernel_trick_idea.svg)

Sztuczka jądra działa poprzez aplikowanie nieliniowych transformacji do cech w zestawie danych. Sztuczka jądra bierze istniejące cechy w zestawie danych i tworzy nowe cechy poprzez aplikację nieliniowych funkcji matematycznych. Co wynika z aplikacji tych nieliniowych transformacji, jest nieliniowa granica decyzyjna. Ponieważ klasyfikator SVM nie jest już ograniczony do rysowania liniowych granic decyzyjnych, może zacząć rysować zakrzywione granice decyzyjne, które lepiej oddają prawdziwy rozkład wektorów wspierających i minimalizują błędne klasyfikacje. Dwa najpopularniejsze nieliniowe jądra SVM to Funkcja Radialna i Wielomianowa. Funkcja wielomianowa tworzy wielomianowe kombinacje wszystkich istniejących cech, podczas gdy funkcja radialna generuje nowe cechy poprzez pomiar odległości między centralnym punktem/punktami a wszystkimi innymi punktami.