Què és l'aprenentatge conjunt?

Una de les tècniques d'aprenentatge automàtic més potents és l'aprenentatge conjunt. Setembre aprenentatge és l'ús de múltiples models d'aprenentatge automàtic per millorar la fiabilitat i la precisió de les prediccions. Tanmateix, com fa que l'ús de múltiples models d'aprenentatge automàtic condueix a prediccions més precises? Quin tipus de tècniques s'utilitzen per crear models d'aprenentatge conjunt? Explorarem la resposta a aquestes preguntes, fent una ullada a la raó de l'ús de models de conjunt i les principals maneres de crear models de conjunt.

Què és l'aprenentatge conjunt?

En poques paraules, l'aprenentatge conjunt és el procés d'entrenar múltiples models d'aprenentatge automàtic i combinar els seus resultats. Els diferents models s'utilitzen com a base per crear un model predictiu òptim. La combinació d'un conjunt divers de models individuals d'aprenentatge automàtic pot millorar l'estabilitat del model global, donant lloc a prediccions més precises. Els models d'aprenentatge de conjunts solen ser més fiables que els models individuals i, com a resultat, sovint se situen en primer lloc en moltes competicions d'aprenentatge automàtic.

Hi ha diferents tècniques que un enginyer pot utilitzar per crear un model d'aprenentatge conjunt. Les tècniques simples d'aprenentatge de conjunt inclouen coses com la mitjana de les sortides de diferents models, mentre que també hi ha mètodes i algorismes més complexos desenvolupats especialment per combinar les prediccions de molts aprenents/models junts.

Per què utilitzar mètodes d'entrenament en conjunt?

Els models d'aprenentatge automàtic poden ser diferents entre si per diverses raons. Diferents models d'aprenentatge automàtic poden funcionar amb diferents mostres de dades de població, es poden utilitzar diferents tècniques de modelització i es pot utilitzar una hipòtesi diferent.

Imagineu que esteu jugant a un joc de trivia amb un gran grup de persones. Si formeu part d'un equip sol, segurament hi haurà alguns temes que coneixeu i molts dels quals no coneixeu. Ara suposa que estàs jugant en un equip amb altres persones. Igual que tu, tindran alguns coneixements sobre les seves pròpies especialitats i no coneixements sobre altres temes. No obstant això, quan es combinen els vostres coneixements, teniu conjectures més precises per a més camps i el nombre de temes que el vostre equip no té coneixement de les reduccions. Aquest és el mateix principi que subjau a l'aprenentatge conjunt, combinant les prediccions de diferents membres de l'equip (models individuals) per millorar la precisió i minimitzar els errors.

Els estadístics ho han demostrat que quan se li demana a una multitud de persones que endevinin la resposta correcta per a una pregunta determinada amb un ventall de possibles respostes, totes les seves respostes formen una distribució de probabilitat. Les persones que realment coneixen la resposta correcta triaran la resposta correcta amb confiança, mentre que les persones que escullen les respostes equivocades distribuiran les seves conjectures entre el ventall de possibles respostes incorrectes. Tornant a l'exemple d'un joc de trivia, si tu i els teus dos amics sabeu que la resposta correcta és A, tots tres votareu A, mentre que les altres tres persones del vostre equip que no saben la resposta és probable que ho facin incorrectament. endevina B, C, D o E. El resultat és que A té tres vots i és probable que les altres respostes tinguin només un o dos vots com a màxim.

Tots els models tenen una certa quantitat d'error. Els errors d'un model seran diferents dels errors produïts per un altre model, ja que els mateixos models són diferents per les raons descrites anteriorment. Quan s'examinen tots els errors, no s'agruparan al voltant d'una resposta o una altra, sinó que estaran dispersos. Les conjectures incorrectes es reparteixen essencialment entre totes les possibles respostes incorrectes, cancel·lant-se mútuament. Mentrestant, les suposicions correctes dels diferents models s'agruparan al voltant de la resposta vertadera i correcta. Quan s'utilitzen mètodes d'entrenament conjunt, la resposta correcta es pot trobar amb més fiabilitat.

Mètodes simples d'entrenament en conjunt

Els mètodes senzills d'entrenament de conjunt normalment només impliquen l'aplicació de tècnica de resum estadístics, com ara determinar la moda, la mitjana o la mitjana ponderada d'un conjunt de prediccions.

El mode fa referència a l'element que apareix amb més freqüència dins d'un conjunt de números. Per obtenir el mode, els models d'aprenentatge individuals retornen les seves prediccions i aquestes prediccions es consideren vots per a la predicció final. La determinació de la mitjana de les prediccions es fa simplement calculant la mitjana aritmètica de les prediccions, arrodonida al nombre enter més proper. Finalment, es pot calcular una mitjana ponderada assignant diferents pesos als models utilitzats per crear prediccions, amb els pesos que representen la importància percebuda d'aquest model. La representació numèrica de la predicció de classe es multiplica amb un pes de 0 a 1.0, les prediccions ponderades individuals es sumen i el resultat s'arrodoneix al nombre enter més proper.

Mètodes avançats d'entrenament de conjunt

Hi ha tres tècniques principals d'entrenament de conjunt avançat, cadascuna de les quals està dissenyada per tractar un tipus específic de problema d'aprenentatge automàtic. Tècniques d'"embossat". s'utilitzen per disminuir la variància de les prediccions d'un model, amb la variància referida a quant difereix el resultat de les prediccions quan es basen en la mateixa observació. Tècniques de “potenciació”. s'utilitzen per combatre el biaix dels models. Finalment, "apilar" s'utilitza per millorar les prediccions en general.

Els mètodes d'aprenentatge per conjunt es poden dividir generalment en un dels dos grups diferents: mètodes seqüencials i mètodes de conjunt paral·lel.

Els mètodes de conjunt seqüencial reben el nom de "seqüencial" perquè els alumnes/models base es generen seqüencialment. En el cas dels mètodes seqüencials, la idea essencial és que s'aprofiti la dependència entre els aprenents de base per tal d'aconseguir prediccions més precises. Els exemples etiquetats incorrectament tenen els seus pesos ajustats, mentre que els exemples etiquetats correctament mantenen els mateixos pesos. Cada vegada que es genera un nou aprenent, els pesos canvien i la precisió (esperem) millora.

A diferència dels models de conjunts seqüencials, els mètodes de conjunts paral·lels generen els aprenents de base en paral·lel. Quan es realitza un aprenentatge en conjunt paral·lel, la idea és aprofitar el fet que els aprenents base tenen independència, ja que la taxa d'error general es pot reduir fent la mitjana de les prediccions dels aprenents individuals.

Els mètodes d'entrenament de conjunts poden ser de naturalesa homogènia o heterogènia. La majoria dels mètodes d'aprenentatge conjunt són homogenis, és a dir, utilitzen un únic tipus de model/algorisme d'aprenentatge bàsic. En canvi, els conjunts heterogenis fan ús de diferents algorismes d'aprenentatge, diversificant i variant els aprenents per garantir que la precisió sigui la més alta possible.

Exemples d'algoritmes d'aprenentatge en conjunt

Visualització de l'impuls del conjunt. Foto: Sirakorn a través de Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Alguns exemples de mètodes de conjunt seqüencial inclouen AdaBoost, XGBoosti Potenciació de l'arbre del gradient. Tots aquests són models de millora. Per a aquests models d'impuls, l'objectiu és convertir els aprenents febles i de baix rendiment en aprenents més potents. Models com AdaBoost i XGBoost comencen amb molts aprenents febles que funcionen una mica millor que endevinar aleatòriament. A mesura que l'entrenament continua, s'apliquen pesos a les dades i s'ajusten. Les instàncies que els alumnes van classificar incorrectament en les primeres rondes d'entrenament tenen més pes. Després de repetir aquest procés per al nombre desitjat de rondes d'entrenament, les prediccions s'uneixen mitjançant una suma ponderada (per a tasques de regressió) i un vot ponderat (per a tasques de classificació).

El procés d'aprenentatge de l'empaquetament. Foto: SeattleDataGuy via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Un exemple de model de conjunt paral·lel és a Bosc aleatori classificador, i Random Forests també és un exemple de tècnica d'embolcall. El terme "bossa" prové de "agregació de bootstrap". Les mostres es prenen del conjunt de dades total mitjançant una tècnica de mostreig coneguda com a "mostreig d'arrencada", que utilitzen els estudiants bàsics per fer prediccions. Per a les tasques de classificació, les sortides dels models base s'agreguen mitjançant la votació, mentre que es promedian junts per a les tasques de regressió. Random Forests utilitza arbres de decisions individuals com a aprenents bàsics, i cada arbre del conjunt es construeix amb una mostra diferent del conjunt de dades. També s'utilitza un subconjunt aleatori de característiques per generar l'arbre. Condueix a arbres de decisions individuals altament aleatoris, que es combinen per oferir prediccions fiables.

Visualització de l'apilament del conjunt. Foto: Supun Setunga a través de Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Pel que fa a les tècniques d'apilament de conjunts, es combinen models de classificació o regressió múltiple mitjançant un metamodel de nivell superior. Els models bàsics de nivell inferior s'estan entrenant alimentant-se tot el conjunt de dades. Les sortides dels models base s'utilitzen com a característiques per entrenar el metamodel. Els models d'apilament de conjunts solen ser de naturalesa heterogènia.