Hvað er Gradient Boosting?

Algeng tegund vélanámslíköns sem hefur tekist að vera mjög gagnleg í gagnavísindakeppnum er líkan sem eykur halla. Hækkun á stigi er í grundvallaratriðum ferlið við að breyta veikum námslíkönum í sterk námslíkön. Samt hvernig er þetta nákvæmlega gert? Við skulum skoða nánar reiknirit til að auka halla og gott betur skilja hvernig hallauppörvun líkan breytir veikum nemendum í sterka nemendur.

Að skilgreina Gradient Boosting

Þessi grein miðar að því að gefa þér gott innsæi fyrir hvað hallauppörvun er, án þess að hafa marga sundurliðun á stærðfræðinni sem liggur til grundvallar reikniritunum. Þegar þú hefur metið hvernig hallaaukning virkar á háu stigi, ertu hvattur til að fara dýpra og kanna stærðfræðina sem gerir það mögulegt.

Byrjum á því að skilgreina hvað það þýðir að „efla“ nemanda. Veikir nemendur breytast í sterka nemendur með því að laga eiginleika námslíkansins. Nákvæmlega hvaða námsalgrím er verið að efla?

Uppörvun módel virka með því að bæta við annað algengt vélanámslíkan, ákvörðunartré.

A ákvörðunartré líkan virkar með því að skipta gagnasafni niður í smærri og smærri hluta, og þegar ekki er hægt að skipta undirmenginum frekar er útkoman tré með hnútum og laufum. Hnútar í ákvörðunartré eru þar sem ákvarðanir um gagnapunkta eru teknar með mismunandi síunarviðmiðum. Laufin í ákvörðunartré eru gagnapunktarnir sem hafa verið flokkaðir. Reiknirit ákvarðanatrés geta séð um bæði töluleg og flokkuð gögn og skiptingar í trénu byggjast á ákveðnum breytum/eiginleikum.

Lýsing á því hvernig uppörvandi módel eru þjálfuð.
Mynd: SeattleDataBuy í gegnum Wikimedia Commons, CC 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

Ein tegund af auka reiknirit er AdaBoost reiknirit. AdaBoost reiknirit byrjar á því að þjálfa ákvörðunartréslíkan og gefa hverri athugun jafnmikið vægi. Eftir að fyrsta tréð hefur verið metið með tilliti til nákvæmni eru þyngd mismunandi athugana leiðrétt. Athuganir sem auðvelt var að flokka fá vægi lækkaðar en athuganir sem erfitt var að flokka hafa þyngd hækkað. Annað tré er búið til með þessum aðlöguðu lóðum, með það að markmiði að spár annars trésins verði nákvæmari en spár fyrsta trésins.

Líkanið samanstendur nú af spám fyrir upprunalega tréð og nýja tréð (eða tré 1 + tré 2). Flokkunarnákvæmni er metin enn og aftur út frá nýja líkaninu. Þriðja tréð er búið til byggt á reiknuðum skekkjum fyrir líkanið og lóðin eru aftur leiðrétt. Þetta ferli heldur áfram í tiltekinn fjölda endurtekningar og lokalíkanið er ensemble líkan sem notar vegna summan af spám sem allar áður smíðuðu trén hafa gert.

Ferlið sem lýst er hér að ofan notar ákvörðunartré og grunnspá/líkön, en samt er hægt að framkvæma uppörvandi nálgun með fjölmörgum gerðum eins og mörgum stöðluðum flokkunar- og regressorlíkönum. Lykilhugtökin sem þarf að skilja eru að síðari spámenn læra af mistökunum sem fyrri hafa gert og að spámennirnir eru búnir til í röð.

Helsti kosturinn við að efla reiknirit er að það tekur styttri tíma að finna núverandi spár samanborið við önnur vélanámslíkön. Hins vegar þarf að gæta varúðar þegar notast er við auka reiknirit þar sem þeim er hætt við að offita.

Aukning á halla

Við munum nú skoða einn af algengustu auka reikniritunum. Gradient Boosting Models (GBM) eru þekkt fyrir mikla nákvæmni og þau auka almennu meginreglurnar sem notaðar eru í AdaBoost.

Aðalmunurinn á Gradient Boosting Model og AdaBoost er að GBMs nota aðra aðferð til að reikna út hvaða nemendur eru að misgreina gagnapunkta. AdaBoost reiknar út hvar líkan er undir afköstum með því að skoða gagnapunkta sem eru þungt vegnir. Á meðan nota GBMs halla til að ákvarða nákvæmni nemenda og beita tapfalli á líkan. Tapaðgerðir eru leið til að mæla nákvæmni þess að líkan passar á gagnasafnið, reikna út villu og fínstilla líkanið til að draga úr þeirri villu. GBMs leyfa notandanum að hámarka tiltekna tapaðgerð út frá æskilegu markmiði sínu.

Að taka algengustu tapaðgerðina - Mean Squared Error (MSE) - sem dæmi, hallandi lækkun er notað til að uppfæra spár byggðar á fyrirfram skilgreindu námshlutfalli, með það að markmiði að finna þau gildi þar sem tap er í lágmarki.

Til að gera það skýrara:

Nýjar spár líkans = úttaksbreytur – gamlar ófullkomnar spár.

Í tölfræðilegri skilningi miða GBM að því að finna viðeigandi mynstur í leifum líkansins, aðlaga líkanið til að passa mynsturið og koma leifum eins nálægt núlli og mögulegt er. Ef þú myndir gera afturhvarf á spám líkansins, myndu leifar dreifast um 0 (fullkomin passa), og GBM eru að finna mynstur innan leifa og uppfæra líkanið í kringum þessi mynstur.

Með öðrum orðum, spárnar eru uppfærðar þannig að summa allra leifa er eins nálægt 0 og hægt er, sem þýðir að spágildin verða mjög nálægt raungildunum.

Athugaðu að margs konar aðrar tapaðgerðir (svo sem lógaritmískt tap) geta verið notaðar af GBM. MSE var valið hér að ofan í einföldunarskyni.

Breytingar á líkönum til að auka halla

Gradient Boosting Models eru gráðug reiknirit sem hætta er á að offita sig á gagnasafni. Þetta er hægt að verjast með nokkrar mismunandi aðferðir sem getur bætt frammistöðu GBM.

Hægt er að stjórna GBM með fjórum mismunandi aðferðum: rýrnun, trétakmörkunum, stokastískum hallauppörvun og refsað nám.

Rýrnun

Eins og áður hefur komið fram eru spár í GBM dregnar saman í röð. Í „Rýrnun“ eru viðbætur hvers trés við heildarupphæðina leiðréttar. Vigt er beitt sem hægir á námshraða reikniritsins, sem gerir það að verkum að fleiri tré eru bætt við líkanið, sem venjulega bætir styrkleika og afköst líkansins. Málið er að líkanið tekur lengri tíma að þjálfa.

Tré takmarkanir

Að takmarka tréð með ýmsum fínstillingum eins og að bæta við meiri dýpt í tréð eða fjölga hnútum eða laufblöðum í trénu getur gert það erfiðara fyrir líkanið að passa of mikið. Að setja takmörkun á lágmarksfjölda athugana á hvern skiptingu hefur svipuð áhrif. Enn og aftur er málamiðlunin sú að það mun taka líkanið lengri tíma að þjálfa.

Slembiúrtak

Hægt er að búa til einstaka nemendur með stochastic ferli, byggt á handahófi völdum undirstimplum þjálfunargagnagrunnsins. Þetta hefur þau áhrif að draga úr fylgni milli trjáa, sem verndar gegn ofklæðningu. Hægt er að undirstimpla gagnasafnið áður en trén eru búin til eða áður en skipt er í trénu.

Viðurkennt nám

Fyrir utan að takmarka líkanið með því að takmarka uppbyggingu trésins er hægt að nota aðhvarfstré. Aðhvarfstré hafa töluleg gildi sem eru fest við hvert laufanna og þau virka sem lóð og hægt er að breyta þeim með algengum reglusetningaraðgerðum eins og L1 og L2 reglusetningu.