Cos'è l'apprendimento d'insieme?

Una delle tecniche di machine learning più potenti è l’apprendimento d’insieme. Insieme apprendimento è l'uso di più modelli di apprendimento automatico per migliorare l'affidabilità e l'accuratezza delle previsioni. Ma in che modo l'uso di più modelli di machine learning porta a previsioni più accurate? Che tipo di tecniche vengono utilizzate per creare modelli di apprendimento d'insieme? Esploreremo la risposta a queste domande, dando un'occhiata alla logica alla base dell'utilizzo di modelli di ensemble e ai modi principali di creare modelli di ensemble.

Cos'è l'apprendimento d'insieme?

In parole povere, l'apprendimento d'insieme è il processo di addestramento di più modelli di apprendimento automatico e la combinazione dei loro risultati. I diversi modelli vengono utilizzati come base per creare un modello predittivo ottimale. La combinazione di un insieme diversificato di singoli modelli di machine learning può migliorare la stabilità del modello complessivo, portando a previsioni più accurate. I modelli di ensemble learning sono spesso più affidabili dei modelli individuali e, di conseguenza, spesso si posizionano al primo posto in molte competizioni di machine learning.

Esistono diverse tecniche che un ingegnere può utilizzare per creare un modello di apprendimento dell'insieme. Le semplici tecniche di apprendimento dell'insieme includono cose come la media degli output di diversi modelli, mentre ci sono anche metodi e algoritmi più complessi sviluppati appositamente per combinare insieme le previsioni di molti studenti/modelli di base.

Perché utilizzare i metodi di formazione dell'ensemble?

I modelli di machine learning possono essere diversi l'uno dall'altro per una serie di motivi. Diversi modelli di apprendimento automatico possono operare su diversi campioni di dati della popolazione, possono essere utilizzate diverse tecniche di modellazione e possono essere utilizzate diverse ipotesi.

Immagina di giocare a un gioco a quiz con un folto gruppo di persone. Se fai parte di una squadra da solo, ci saranno sicuramente alcuni argomenti di cui sei a conoscenza e molti argomenti di cui non sei a conoscenza. Ora supponi di giocare in una squadra con altre persone. Proprio come te, avranno una certa conoscenza delle proprie specialità e nessuna conoscenza di altri argomenti. Tuttavia, quando le tue conoscenze sono combinate, hai ipotesi più accurate per più campi e il numero di argomenti di cui il tuo team non ha conoscenza si riduce. Questo è lo stesso principio alla base dell'apprendimento d'insieme, che combina le previsioni di diversi membri del team (modelli individuali) per migliorare l'accuratezza e ridurre al minimo gli errori.

Gli statistici hanno dimostrato che quando a una folla di persone viene chiesto di indovinare la risposta giusta per una data domanda con una gamma di possibili risposte, tutte le loro risposte formano una distribuzione di probabilità. Le persone che conoscono veramente la risposta corretta sceglieranno con sicurezza la risposta giusta, mentre le persone che scelgono le risposte sbagliate distribuiranno le loro ipotesi attraverso la gamma di possibili risposte errate. Tornando all'esempio di un gioco a quiz, se tu e i tuoi due amici sapete che la risposta giusta è A, tutti e tre voterete A, mentre è probabile che le altre tre persone della vostra squadra che non conoscono la risposta la votino in modo errato. indovina B, C, D o E. Il risultato è che A ha tre voti ed è probabile che le altre risposte abbiano solo uno o due voti al massimo.

Tutti i modelli hanno una certa quantità di errore. Gli errori per un modello saranno diversi dagli errori prodotti da un altro modello, poiché i modelli stessi sono diversi per i motivi sopra descritti. Quando tutti gli errori vengono esaminati, non saranno raggruppati attorno a una risposta o a un'altra, piuttosto saranno sparsi. Le ipotesi errate sono essenzialmente distribuite su tutte le possibili risposte sbagliate, annullandosi a vicenda. Nel frattempo, le ipotesi corrette dei diversi modelli saranno raggruppate attorno alla risposta vera e corretta. Quando vengono utilizzati metodi di allenamento d'insieme, la risposta corretta può essere trovata con maggiore affidabilità.

Semplici metodi di formazione d'insieme

I semplici metodi di formazione dell'insieme in genere implicano solo l'applicazione di tecnica di riepilogo statisticos, come determinare la moda, la media o la media ponderata di un insieme di previsioni.

La modalità si riferisce all'elemento che ricorre più frequentemente all'interno di un insieme di numeri. Per ottenere la modalità, i singoli modelli di apprendimento restituiscono le loro previsioni e queste previsioni sono considerate voti per la previsione finale. La determinazione della media delle previsioni viene eseguita semplicemente calcolando la media aritmetica delle previsioni, arrotondata all'intero più vicino. Infine, è possibile calcolare una media ponderata assegnando pesi diversi ai modelli utilizzati per creare previsioni, con i pesi che rappresentano l'importanza percepita di quel modello. La rappresentazione numerica della previsione della classe viene moltiplicata insieme a un peso compreso tra 0 e 1.0, le singole previsioni ponderate vengono quindi sommate e il risultato viene arrotondato all'intero più vicino.

Metodi di formazione d'insieme avanzati

Esistono tre principali tecniche avanzate di formazione dell'insieme, ognuna delle quali è progettata per affrontare un tipo specifico di problema di apprendimento automatico. Tecniche di "insacco". vengono utilizzati per diminuire la varianza delle previsioni di un modello, con la varianza che si riferisce a quanto differisce il risultato delle previsioni quando si basa sulla stessa osservazione. Tecniche di "potenziamento". sono usati per combattere il pregiudizio dei modelli. Finalmente, "impilamento" viene utilizzato per migliorare le previsioni in generale.

Gli stessi metodi di apprendimento d'insieme possono generalmente essere suddivisi in uno di due diversi gruppi: metodi sequenziali e metodi d'insieme paralleli.

I metodi di ensemble sequenziali prendono il nome di "sequenziale" perché gli studenti/modelli di base vengono generati in sequenza. Nel caso dei metodi sequenziali, l'idea essenziale è che la dipendenza tra gli apprendenti di base venga sfruttata per ottenere previsioni più accurate. Gli esempi etichettati in modo errato hanno i loro pesi regolati mentre gli esempi etichettati correttamente mantengono gli stessi pesi. Ogni volta che viene generato un nuovo studente, i pesi cambiano e la precisione (si spera) migliora.

Contrariamente ai modelli di ensemble sequenziali, i metodi di ensemble paralleli generano gli studenti di base in parallelo. Quando si esegue l'apprendimento di ensemble parallelo, l'idea è di sfruttare il fatto che gli studenti di base hanno indipendenza, poiché il tasso di errore generale può essere ridotto calcolando la media delle previsioni dei singoli studenti.

I metodi di formazione d'insieme possono essere di natura omogenea o eterogenea. La maggior parte dei metodi di apprendimento d'insieme sono omogenei, nel senso che utilizzano un unico tipo di modello/algoritmo di apprendimento di base. Al contrario, insiemi eterogenei fanno uso di diversi algoritmi di apprendimento, diversificando e variando gli studenti per garantire che l'accuratezza sia la più elevata possibile.

Esempi di algoritmi di apprendimento d'insieme

Visualizzazione del potenziamento dell'ensemble. Foto: Sirakorn via Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Esempi di metodi di ensemble sequenziali includono Ada Boost, XGBooste Potenziamento dell'albero del gradiente. Questi sono tutti modelli potenzianti. Per questi modelli di potenziamento, l'obiettivo è convertire gli studenti deboli e con prestazioni insufficienti in studenti più potenti. Modelli come AdaBoost e XGBoost iniziano con molti studenti deboli che si comportano solo leggermente meglio delle ipotesi casuali. Man mano che l'addestramento continua, i pesi vengono applicati ai dati e regolati. Le istanze che sono state classificate in modo errato dagli studenti nei precedenti cicli di formazione hanno un peso maggiore. Dopo che questo processo è stato ripetuto per il numero desiderato di cicli di addestramento, le previsioni vengono unite tramite una somma ponderata (per le attività di regressione) e un voto ponderato (per le attività di classificazione).

Il processo di apprendimento dell'insacco. Foto: SeattleDataGuy tramite Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Un esempio di un modello di insieme parallelo è a Foresta casuale classificatore e Random Forests è anche un esempio di tecnica di insaccamento. Il termine "bagging" deriva da "aggregazione bootstrap". I campioni vengono prelevati dal set di dati totale utilizzando una tecnica di campionamento nota come "campionamento bootstrap", che viene utilizzata dagli studenti di base per fare previsioni. Per le attività di classificazione, gli output dei modelli di base vengono aggregati utilizzando il voto, mentre viene calcolata la media insieme per le attività di regressione. Random Forests utilizza i singoli alberi decisionali come studenti di base e ogni albero nell'insieme è costruito utilizzando un campione diverso dal set di dati. Per generare l'albero viene utilizzato anche un sottoinsieme casuale di funzionalità. Portando ad alberi decisionali individuali altamente randomizzati, che sono tutti combinati insieme per fornire previsioni affidabili.

Visualizzazione dell'impilamento dell'insieme. Foto: Supun Setunga via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

In termini di tecniche di stacking ensemble, più modelli di regressione o classificazione vengono combinati insieme attraverso un meta-modello di livello superiore. I modelli di base di livello inferiore vengono addestrati ricevendo l'intero set di dati. Gli output dei modelli di base vengono quindi utilizzati come funzionalità per addestrare il meta-modello. I modelli di ensemble impilabili sono spesso di natura eterogenea.