Шта је ансамбл учење?

Једна од најмоћнијих техника машинског учења је учење ансамбла. Енсембле учење је употреба више модела машинског учења за побољшање поузданости и тачности предвиђања. Ипак, како употреба више модела машинског учења доводи до прецизнијих предвиђања? Које се технике користе за креирање ансамбл модела учења? Истражићемо одговор на ова питања, погледаћемо разлоге за коришћење модела ансамбла и примарне начине креирања модела ансамбла.

Шта је ансамбл учење?

Једноставно речено, ансамбл учење је процес обуке више модела машинског учења и комбиновања њихових резултата заједно. Различити модели се користе као основа за стварање једног оптималног предиктивног модела. Комбиновањем разноврсног скупа појединачних модела машинског учења може се побољшати стабилност целокупног модела, што доводи до прецизнијих предвиђања. Модели учења ансамбла су често поузданији од појединачних модела, и као резултат тога, често заузимају прво место у многим такмичењима у машинском учењу.

Постоје различите технике које инжењер може да користи за креирање модела учења ансамбла. Једноставне технике учења ансамбла укључују ствари као што је усредњавање резултата различитих модела, док постоје и сложеније методе и алгоритми посебно развијени да комбинују предвиђања многих основних ученика/модела заједно.

Зашто користити методе ансамбл обуке?

Модели машинског учења могу се разликовати један од другог из различитих разлога. Различити модели машинског учења могу да раде на различитим узорцима података о популацији, могу се користити различите технике моделирања и могу се користити различите хипотезе.

Замислите да играте тривијалну игру са великом групом људи. Ако сте сами у тиму, сигурно ће постојати неке теме о којима знате и многе теме о којима немате знања. Сада претпоставите да играте у тиму са другим људима. Као и ви, они ће имати одређена знања у вези са сопственим специјалностима, а не знају о другим темама. Ипак, када се ваше знање комбинује, имате тачније претпоставке за више области, а број тема које вашем тиму недостаје знање о психијатрима. Ово је исти принцип који је у основи учења ансамбла, комбинујући предвиђања различитих чланова тима (појединачних модела) како би се побољшала тачност и свеле грешке на минимум.

Статистичари су доказали да када се од гомиле људи тражи да погоди прави одговор за дато питање са низом могућих одговора, сви њихови одговори формирају дистрибуцију вероватноће. Људи који заиста знају тачан одговор ће са самопоуздањем изабрати тачан одговор, док ће људи који изаберу погрешне одговоре распоредити своја нагађања у распону могућих нетачних одговора. Да се ​​вратимо на пример тривијалне игре, ако ви и ваша два пријатеља знате да је тачан одговор А, сво троје ћете гласати А, док ће остала три човека у вашем тиму који не знају одговор вероватно погрешно погодите Б, Ц, Д или Е. Резултат је да А има три гласа, а да ће остали одговори вероватно имати само један или два гласа максимално.

Сви модели имају одређену количину грешака. Грешке за један модел ће се разликовати од грешака које производи други модел, пошто су сами модели различити из горе описаних разлога. Када се све грешке испитају, оне неће бити груписане око једног или другог одговора, већ ће бити разбацане. Погрешне претпоставке се у суштини шире на све могуће погрешне одговоре, поништавајући једна другу. У међувремену, тачне претпоставке из различитих модела биће груписане око тачног, тачног одговора. Када се користе методе ансамбл тренинга, тачан одговор се може наћи са већом поузданошћу.

Једноставне методе обуке ансамбла

Једноставне методе обуке ансамбла обично укључују само примену техника статистичког сумирањас, као што је одређивање мода, средње вредности или пондерисаног просека скупа предвиђања.

Режим се односи на елемент који се најчешће појављује унутар скупа бројева. Да би добили режим, појединачни модели учења враћају своја предвиђања и ова предвиђања се сматрају гласовима према коначном предвиђању. Одређивање средње вредности предвиђања се врши једноставним израчунавањем аритметичке средине предвиђања, заокружене на најближи цео број. Коначно, пондерисани просек се може израчунати додељивањем различитих тежина моделима који се користе за креирање предвиђања, при чему пондери представљају уочену важност тог модела. Нумеричка репрезентација предвиђања класе се множи заједно са тежином од 0 до 1.0, појединачна пондерисана предвиђања се затим сабирају и резултат се заокружује на најближи цео број.

Напредне методе обуке ансамбла

Постоје три примарне напредне технике обуке ансамбла, од којих је свака дизајнирана да се бави специфичном врстом проблема машинског учења. Технике "паковања". се користе за смањење варијансе предвиђања модела, при чему се варијанса односи на то колико се исход предвиђања разликује када се заснива на истом посматрању. Технике „подстицања“. се користе за борбу против пристрасности модела. коначно, "слагање" користи се за побољшање предвиђања уопште.

Саме методе ансамбл учења генерално се могу поделити у једну од две различите групе: секвенцијалне методе и паралелне ансамбл методе.

Методе секвенцијалног ансамбла добијају назив „секвенцијалне“ јер се основни ученици/модели генеришу секвенцијално. У случају секвенцијалних метода, суштинска идеја је да се зависност између основних ученика искоришћава како би се добила тачнија предвиђања. Погрешно означени примери имају прилагођене тежине док правилно означени примери одржавају исте тежине. Сваки пут када се генерише нови ученик, тежине се мењају и прецизност (надамо се) побољшава.

За разлику од секвенцијалних модела ансамбла, методе паралелног ансамбла паралелно генеришу основне ученике. Приликом спровођења паралелног ансамбл учења, идеја је да се искористи чињеница да основни ученици имају независност, пошто се општа стопа грешке може смањити усредњавањем предвиђања појединачних ученика.

Методе обуке ансамбла могу бити или хомогене или хетерогене природе. Већина метода учења ансамбла је хомогена, што значи да користе једну врсту основног модела/алгоритма учења. Насупрот томе, хетерогени ансамбли користе различите алгоритме учења, диверзификују и варирају ученике како би осигурали да је тачност што већа.

Примери алгоритама за учење ансамбла

Визуелизација појачања ансамбла. Фотографија: Сиракорн преко Викимедиа Цоммонс, ЦЦ БИ СА 4.0, (хттпс://цоммонс.викимедиа.орг/вики/Филе:Енсембле_Боостинг.свг)

Примери метода секвенцијалног ансамбла укључују АдаБоост, КСГБоост, и Појачавање стабла градијента. Ово су све модели за повећање. За ове моделе унапређења, циљ је да се слабе ученике са лошим учинком претвори у моћније ученике. Модели као што су АдаБоост и КСГБоост почињу са многим слабим ученицима који раде само нешто боље од насумичних нагађања. Како се обука наставља, тежине се примењују на податке и прилагођавају. Случајеви које су ученици погрешно класификовали у ранијим круговима обуке добијају већу тежину. Након што се овај процес понови за жељени број рунди тренинга, предвиђања се спајају или пондерисаним збиром (за задатке регресије) и пондерисаним гласањем (за задатке класификације).

Процес учења у врећици. Фотографија: СеаттлеДатаГуи преко Викимедиа Цоммонс, ЦЦ БИ СА 4.0 (хттпс://цоммонс.викимедиа.орг/вики/Филе:Баггинг.пнг)

Пример паралелног модела ансамбла је а Случајна шума класификатор, а Рандом Форестс је такође пример технике паковања. Термин „баггинг“ долази од „боотстрап агрегације“. Узорци се узимају из укупног скупа података коришћењем технике узорковања познате као „боотстрап узорковање“, коју користе основни ученици да би направили предвиђања. За задатке класификације, резултати основних модела се агрегирају коришћењем гласања, док се заједно усредњавају за задатке регресије. Рандом Форестс користи појединачна стабла одлучивања као своје основне ученике, а свако стабло у ансамблу је изграђено користећи другачији узорак из скупа података. Насумични подскуп карактеристика се такође користи за генерисање стабла. Доводи до високо рандомизованих појединачних стабала одлучивања, која су сва комбинована да би се обезбедила поуздана предвиђања.

Визуелизација слагања ансамбла. Фотографија: Супун Сетунга преко Викимедиа Цоммонс, ЦЦ БИ СА 4.0 (хттпс://цоммонс.викимедиа.орг/вики/Филе:Стацкинг.пнг)

У смислу техника слагања ансамбла, модели вишеструке регресије или класификације се комбинују заједно преко вишег нивоа, мета-модела. Основни модели нижег нивоа се обучавају тако што им се напаја цео скуп података. Излази основних модела се затим користе као карактеристике за обуку мета-модела. Модели комплета за слагање су често хетерогени по природи.