Dè a th’ ann an àrdachadh caisead?

Tha seòrsa cumanta de mhodail ionnsachaidh inneal a tha air a bhith air leth feumail ann am farpaisean saidheans dàta na mhodail àrdachadh caisead. Àrdachadh caisead gu bunaiteach mar phròiseas airson modalan ionnsachaidh lag a thionndadh gu modalan ionnsachaidh làidir. Ach dè dìreach a tha seo air a choileanadh? Bheir sinn sùil nas mionaidiche air algorithms àrdachadh caisead agus nas fheàrr tuigsinn mar a tha modail àrdachadh caisead ag atharrachadh luchd-ionnsachaidh lag gu bhith nan luchd-ionnsachaidh làidir.

A 'mìneachadh àrdachadh caisead

Tha an artaigil seo ag amas air tuigse mhath a thoirt dhut a thaobh dè a th’ ann an àrdachadh caisead, às aonais mòran briseadh sìos den matamataig a tha mar bhunait air na h-algorithms. Aon uair ‘s gu bheil tuigse agad air mar a tha àrdachadh caisead ag obair aig ìre àrd, thathas gad bhrosnachadh a dhol nas doimhne agus sgrùdadh a dhèanamh air a’ mhatamataig a tha ga dhèanamh comasach.

Feuch an tòisich sinn le bhith a’ mìneachadh dè tha e a’ ciallachadh “àrdachadh” a thoirt do neach-ionnsachaidh. Bidh luchd-ionnsachaidh lag air an tionndadh gu bhith nan luchd-ionnsachaidh làidir le bhith ag atharrachadh feartan a’ mhodail ionnsachaidh. Dè dìreach an algairim ionnsachaidh a thathas a’ cur ris?

Bidh modalan àrdachadh ag obair le bhith a’ cur ri modal ionnsachaidh inneal cumanta eile, craobh co-dhùnaidh.

A craobh co-dhùnaidh gnìomhan modail le bhith a’ roinneadh stòr-dàta sìos gu earrannan nas lugha agus nas lugha, agus aon uair ‘s nach urrainnear na fo-bhuidhnean a roinn tuilleadh, is e an toradh craobh le nodan is duilleagan. Is e nodan ann an craobh co-dhùnaidh far am bi co-dhùnaidhean mu phuingean dàta air an dèanamh a’ cleachdadh diofar shlatan-tomhais sìolaidh. Is e na duilleagan ann an craobh co-dhùnaidh na puingean dàta a chaidh an seòrsachadh. Faodaidh algorithms craobh co-dhùnaidh làimhseachadh dàta àireamhach agus gnèitheach, agus tha sgaraidhean sa chraoibh stèidhichte air caochladairean / feartan sònraichte.

Dealbh den dòigh anns a bheil modalan àrdachadh air an trèanadh.
Dealbh: SeattleDataBuy tro Wikimedia Commons, CC 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

Is e aon seòrsa de algorithm àrdachadh an Algorithm AdaBoost. Bidh algorithms AdaBoost a’ tòiseachadh le bhith a’ trèanadh modail craobh co-dhùnaidh agus a’ sònrachadh cuideam co-ionann do gach amharc. Às deidh a’ chiad chraobh a bhith air a mheasadh airson cruinneas, thèid na cuideaman airson na diofar bheachdan atharrachadh. Chaidh na cuideaman aca ìsleachadh ann an seallaidhean a bha furasta an seòrsachadh, agus chaidh na cuideaman aca àrdachadh ann an seallaidhean a bha doirbh an seòrsachadh. Bithear a’ cruthachadh dàrna craobh a’ cleachdadh na cuideaman atharraichte sin, leis an amas gum bi ro-innsean an dàrna craoibhe nas cinntiche na ro-innse a’ chiad chraoibh.

Tha am modail a-nis a 'toirt a-steach na ro-innse airson a' chraobh thùsail agus a 'chraobh ùr (no Craobh 1 + Craobh 2). Bithear a’ measadh cruinneas an t-seòrsachaidh a-rithist stèidhichte air a’ mhodail ùr. Tha an treas craobh air a chruthachadh stèidhichte air a 'mhearachd àireamhaichte airson a' mhodail, agus tha na cuideaman air an atharrachadh a-rithist. Tha am pròiseas seo a’ leantainn airson àireamh shònraichte de dh’aithrisean, agus tha am modail mu dheireadh na mhodail ensemble a bhios a’ cleachdadh suim cudthromach nan ro-innse a rinn na craobhan uile a chaidh a thogail roimhe.

Bidh am pròiseas a tha air a mhìneachadh gu h-àrd a’ cleachdadh Craobhan Co-dhùnaidh agus na ro-innsearan/modalan bunaiteach, ach faodar dòigh-obrach brosnachaidh a dhèanamh le raon farsaing de mhodalan mar an iomadh seòrsa seòrsachaidh àbhaisteach agus modailean ath-thòiseachaidh. Is e na prìomh bhun-bheachdan ri thuigsinn gum bi ro-innsearan às deidh sin ag ionnsachadh bho na mearachdan a rinn feadhainn roimhe agus gu bheil na ro-innsearan air an cruthachadh ann an òrdugh.

Is e am prìomh bhuannachd a bhith ag àrdachadh algoirmean gu bheil iad a’ toirt nas lugha de ùine airson na ro-innsean gnàthach a lorg an taca ri modalan ionnsachaidh inneal eile. Feumar cùram a chleachdadh nuair a thathar a’ cleachdadh algoirmean àrdachadh, ge-tà, leis gu bheil iad buailteach a bhith cus.

Àrdachadh caisead

Bheir sinn sùil a-nis air aon de na h-algorithms àrdachadh as cumanta. Tha Modalan àrdachadh caisead (GBM) ainmeil airson cho cinnteach ‘s a tha iad, agus bidh iad a’ cur ris na prionnsapalan coitcheann a thathas a ’cleachdadh ann an AdaBoost.

Is e am prìomh eadar-dhealachadh eadar Modail àrdachadh caisead agus AdaBoost gu bheil GBMan a’ cleachdadh dòigh eadar-dhealaichte airson obrachadh a-mach dè an luchd-ionnsachaidh a tha a’ mì-aithneachadh puingean dàta. Bidh AdaBoost a’ tomhas far nach eil modail a’ coileanadh nas fheàrr le bhith a’ sgrùdadh puingean dàta le cuideam mòr. Aig an aon àm, bidh GBMan a’ cleachdadh caiseadan gus dearbhadh dè cho ceart ‘s a tha luchd-ionnsachaidh, a’ cur gnìomh call gu modail. Tha gnìomhan call mar dhòigh air ceartachd modail a thomhas air an t-seata dàta, obrachadh a-mach mearachd agus am modail a bharrachadh gus a’ mhearachd sin a lughdachadh. Leigidh GBMan leis an neach-cleachdaidh gnìomh call sònraichte a bharrachadh stèidhichte air an amas a tha iad ag iarraidh.

A’ gabhail an gnìomh call as cumanta - Mearachd ceàrnagach cuibheasach (MSE) - mar eisimpleir, sliochd caisead air a chleachdadh gus ro-innsean ùrachadh stèidhichte air ìre ionnsachaidh ro-mhìnichte, ag amas air na luachan a lorg far nach eil ach glè bheag de chall.

Gus a dhèanamh nas soilleire:

Ro-innse modail ùr = caochladairean toraidh - seann ro-innse neo-fhoirfe.

Ann an seagh nas staitistigeil, tha GBMan ag amas air pàtrain iomchaidh a lorg ann am fuigheall modail, ag atharrachadh a’ mhodail gus freagairt air a’ phàtran agus a’ toirt na tha air fhàgail cho faisg air neoni sa ghabhas. Nam biodh tu gu bhith a’ toirt air ais ro-innse a’ mhodail, bhiodh na fuigheall air an sgaoileadh timcheall air 0 (foirfe iomchaidh), agus tha GBMn a’ lorg phàtranan taobh a-staigh na tha air fhàgail agus ag ùrachadh a’ mhodail timcheall air na pàtrain sin.

Ann am faclan eile, tha na ro-innsean air an ùrachadh gus am bi suim nan còrr air fhàgail cho faisg air 0 sa ghabhas, a’ ciallachadh gum bi na luachan a thathar a’ ro-innse glè fhaisg air na fìor luachan.

Thoir an aire gum faod GBM measgachadh farsaing de ghnìomhan call eile (leithid call logarithmach) a chleachdadh. Chaidh MSE a thaghadh gu h-àrd airson adhbhar sìmplidh.

Atharrachadh air Modalan àrdachadh caisead

Is e algorithms sanntach a th’ ann am Modalan Brosnachaidh Caisead a tha dualtach a dhol thairis air dàta. Faodar seo a dhìon le grunn dhòighean eadar-dhealaichte a dh’ fhaodadh coileanadh GBM a leasachadh.

Faodar GBMan a riaghladh le ceithir dòighean eadar-dhealaichte: Lùghdachadh, Cuingealachaidhean Chraobhan, Brosnachadh Gradient Stochastic, agus Ionnsachadh Peanas.

Lùghdachadh

Mar a chaidh ainmeachadh roimhe, ann an GBMn tha ro-innsean air an cruinneachadh ann an dòigh sreath. Ann an “Lùghdachadh,” tha cur-ris gach craobh ris an t-suim iomlan air atharrachadh. Thathas a’ cur cuideaman an sàs a chuireas maill air ìre ionnsachaidh an algairim, a dh’ fheumas barrachd chraobhan a chur ris a’ mhodail, a bhios mar as trice a’ leasachadh neart agus coileanadh a’ mhodail. Is e a’ mhalairt dheth gu bheil am modail a’ toirt nas fhaide airson trèanadh.

Cuingealachaidhean craobh

Le bhith a 'cuingealachadh a' chraoibh le diofar atharrachaidhean mar a bhith a 'cur barrachd doimhneachd ris a' chraoibh no a 'meudachadh na h-àireimh de nodan no duilleagan anns a' chraoibh, faodaidh e a dhèanamh nas duilghe don mhodail a bhith a 'fàs nas fheàrr. Tha an aon bhuaidh aig a bhith a’ cur bacadh air an àireamh as lugha de bheachdan gach sgaradh. A-rithist, is e a’ mhalairt dheth gun toir e am modail nas fhaide airson trèanadh.

Samplachadh air thuaiream

Faodar an luchd-ionnsachaidh fa leth a chruthachadh tro phròiseas stochastic, stèidhichte air fo-stàplalan air an taghadh air thuaiream den t-seata trèanaidh. Tha seo a’ toirt buaidh air lùghdachadh co-dhàimhean eadar craobhan, a tha a’ dìon an aghaidh cus fhilleadh. Faodar an stòr-dàta a chuir a-steach mus cruthaichear na craobhan no mus smaoinich thu air sgaradh sa chraoibh.

Ionnsachadh air a pheanasachadh

A bharrachd air a bhith a 'cuingealachadh a' mhodail tro bhith a 'cuingealachadh structar na craoibhe, tha e comasach craobh ath-thòiseachaidh a chleachdadh. Tha luachan àireamhach aig craobhan ath-thòiseachaidh ceangailte ri gach duilleag, agus tha iad sin ag obair mar chuideaman agus faodar an atharrachadh le gnìomhan riaghlaidh cumanta leithid cunbhalachadh L1 agus L2.