Шта су машине за подршку векторима?

Шта су машине за подршку векторима?

Машине са векторима подршке су врста класификатора машинског учења, вероватно једна од најпопуларнијих врста класификатора. Машине за подршку векторима су посебно корисне за нумеричко предвиђање, класификацију и задатке препознавања образаца.

Машине вектора подршке раде тако што цртају границе одлучивања између тачака података, циљајући на границу одлуке која најбоље раздваја тачке података у класе (или је најопштија). Циљ када се користи машина за векторе подршке је да граница одлуке између тачака буде што је могуће већа, тако да је растојање између било које дате тачке података и граничне линије максимизирано. То је брзо објашњење како машине за подршку векторима (СВМ) функционишу, али хајде да одвојимо мало времена да копамо дубље у то како раде СВМ-ови и разумемо логику иза њиховог рада.

Циљ машина за векторе подршке

Замислите график са одређеним бројем тачака података на њему, заснован на карактеристикама које су специфициране помоћу Кс и И оса. Тачке података на графикону могу се слободно поделити у два различита кластера, а кластер коме дата тачка припада означава класу тачке података. Сада претпоставимо да желимо да нацртамо линију низ график који раздваја две класе једну од друге, са свим тачкама података у једној класи на једној страни линије и свим тачкама података које припадају другој класи на другој страни линије. Ова раздвајајућа линија је позната као хиперраван.

Можете замислити машину са вектором подршке као стварање „путева“ широм града, раздвајајући град на округе са обе стране пута. Све зграде (тачке података) које се налазе на једној страни пута припадају једном округу.

Циљ машине за подршку векторима није само да нацрта хиперравне и подели тачке података, већ да нацрта хиперравнину која раздваја тачке података са највећом маргином, или са највише простора између линије раздвајања и било које дате тачке података. Да се ​​вратимо на метафору „путева“, ако урбаниста прави планове за аутопут, они не желе да аутопут буде преблизу кућа или других зграда. Што је већа маргина између аутопута и зграда са обе стране, то боље. Што је ова маргина већа, то класификатор може бити „сигурнији“ у својим предвиђањима. У случају бинарне класификације, цртање исправне хиперравне значи одабир хиперравнине која се налази управо у средини две различите класе. Ако је граница/хиперраван одлуке даље од једне класе, биће ближе другој. Према томе, хиперраван мора да уравнотежи маргину између две различите класе.

Израчунавање раздвајајуће хиперравнине

Дакле, како машина са векторима подршке одређује најбољу одвајајућу границу хиперраван/одлуку? Ово се постиже израчунавањем могућих хиперравнина помоћу математичке формуле. Нећемо покривати формулу за израчунавање хиперплана до крајњих детаља, али се линија израчунава са познатом формулом нагиб/линија:

И = ак + б

У међувремену, линије су направљене од тачака, што значи да се свака хиперраван може описати као: скуп тачака које иду паралелно са предложеном хиперравнином, као што је одређено тежинама модела помноженим са скупом карактеристика модификованих одређеним офсетом/пристрасношћу („д”).

СВМ цртају многе хиперплане. На пример, гранична линија је једна хиперраван, али тачке података које класификатор разматра су такође на хиперравнима. Вредности за к се одређују на основу карактеристика у скупу података. На пример, ако имате скуп података са висинама и тежинама многих људи, карактеристике „висине“ и „тежине“ биле би карактеристике које се користе за израчунавање „Кс“. Маргине између предложене хиперравне и различитих „вектора подршке“ (тачака података) који се налазе са обе стране хиперравне која се дели израчунавају се следећом формулом:

Ш * Кс – б

Иако можете прочитати више о математици иза СВМ-ова, ако тражите интуитивније разумевање њих, само знајте да је циљ максимизирати растојање између предложене хиперравне/граничне линије која раздваја и других хиперравнина које иду паралелно са њом ( и на којима се налазе тачке података).

Фотографија: ЗацкВеинберг преко Викимедиа Цоммонс, ЦЦ БИ СА 3.0 (хттпс://цоммонс.викимедиа.орг/вики/Филе:Свм_сепаратинг_хиперпланес_(СВГ).свг)

Вишекласна класификација

До сада описани процес се примењује на задатке бинарне класификације. Међутим, СВМ класификатори се такође могу користити за задатке небинарне класификације. Када се врши СВМ класификација на скупу података са три или више класа, користи се више граничних линија. На пример, ако задатак класификације има три класе уместо две, две линије раздвајања ће се користити за поделу тачака података на класе, а регион који чини једну класу ће пасти између две линије поделе уместо једне. Уместо да само израчунава растојање између само две класе и границе одлуке, класификатор сада мора да узме у обзир маргине између граница одлуке и више класа унутар скупа података.

Нелинеарне сепарације

Горе описани процес се примењује на случајеве где су подаци линеарно одвојиви. Имајте на уму да, у стварности, скупови података скоро никада нису потпуно линеарно одвојиви, што значи да ћете када користите СВМ класификатор често морати да користите две различите технике: мека маргина и трикови кернела. Размотрите ситуацију у којој су тачке података различитих класа помешане заједно, при чему неке инстанце припадају једној класи у „кластеру“ друге класе. Како бисте могли да натерате класификатор да обради ове случајеве?

Једна тактика која се може користити за руковање нелинеарно одвојивим скуповима података је примена СВМ класификатора „меке маргине“. Класификатор меке маргине функционише тако што прихвата неколико погрешно класификованих тачака података. Покушаће да повуче линију која најбоље одваја кластере тачака података један од другог, пошто они садрже већину инстанци које припадају њиховим одговарајућим класама. СВМ класификатор са меком маргином покушава да створи линију раздвајања која балансира два захтева класификатора: тачност и маргину. Покушаће да минимизира погрешну класификацију док истовремено максимизира маргину.

Толеранција СВМ-а на грешку се може подесити кроз манипулацију хиперпараметром званим „Ц“. Контроле вредности Ц колико вектора подршке класификатор узима у обзир приликом цртања граница одлуке. Ц вредност је казна која се примењује на погрешне класификације, што значи да што је већа вредност Ц, то је мање вектора подршке које класификатор узима у обзир и што је ужа маргина.

Кернел обмањује податке и трансформише их на нелинеаран начин. Фотографија: Схииу Ју преко Викмедиа Цоммонс, ЦЦ БИ СА 4.0 (хттпс://цоммонс.викимедиа.орг/вики/Филе:Кернел_трицк_идеа.свг)

Кернел трик функционише применом нелинеарних трансформација на карактеристике у скупу података. Кернел Трицк узима постојеће карактеристике у скупу података и ствара нове карактеристике кроз примену нелинеарних математичких функција. Оно што резултира применом ових нелинеарних трансформација је нелинеарна граница одлучивања. Пошто СВМ класификатор више није ограничен на цртање линеарних граница одлучивања, он може почети да црта закривљене границе одлучивања које боље обухватају праву дистрибуцију вектора подршке и сведу погрешне класификације на минимум. Два најпопуларнија СВМ нелинеарна језгра су радијална основна функција и полином. Функција полинома ствара полиномске комбинације свих постојећих карактеристика, док функција радијалне основе генерише нове карактеристике мерењем растојања између централне тачке/тачака до свих осталих тачака.