Sebbene l’AutoML sia diventato popolare alcuni anni fa, i primi lavori sull’AutoML risalgono ai primi anni ’90, quando gli scienziati hanno pubblicato i primi articoli sull’ottimizzazione degli iperparametri. È stato nel 2014, quando l’ICML ha organizzato il primo workshop sull’AutoML, che l’AutoML ha attirato l’attenzione degli sviluppatori di ML. Uno dei principali punti di focus dell’AutoML negli anni è stato il problema della ricerca degli iperparametri, in cui il modello implementa una serie di metodi di ottimizzazione per determinare gli iperparametri migliori in uno spazio di iperparametri grande per un particolare modello di apprendimento automatico. Un altro metodo comunemente implementato dai modelli AutoML è stimare la probabilità che un particolare iperparametro sia l’iperparametro ottimale per un dato modello di apprendimento automatico. Il modello raggiunge questo obiettivo implementando metodi bayesiani che tradizionalmente utilizzano dati storici da modelli precedentemente stimati e altri set di dati. Oltre all’ottimizzazione degli iperparametri, altri metodi cercano di selezionare i migliori modelli da uno spazio di alternative di modellazione.

In questo articolo, copriremo LightAutoML, un sistema AutoML sviluppato principalmente per un’azienda europea operante nel settore finanziario e nel suo ecosistema. Il framework LightAutoML è distribuito su varie applicazioni e i risultati hanno dimostrato una prestazione superiore, paragonabile a quella dei data scientist, anche mentre costruiscono modelli di apprendimento automatico di alta qualità. Il framework LightAutoML tenta di fare le seguenti contribuzioni. In primo luogo, il framework LightAutoML è stato sviluppato principalmente per l’ecosistema di una grande istituzione finanziaria e bancaria europea. Grazie al suo framework e architettura, il framework LightAutoML è in grado di superare le prestazioni dei framework AutoML attuali su diverse benchmark aperte e applicazioni dell’ecosistema. La prestazione del framework LightAutoML è anche confrontata con modelli che sono stati ottimizzati manualmente da data scientist, e i risultati hanno indicato una prestazione più forte del framework LightAutoML.

Questo articolo si propone di coprire il framework LightAutoML in profondità e di esplorare il meccanismo, la metodologia, l’architettura del framework insieme al suo confronto con i framework attuali. Quindi, iniziamo.

LightAutoML: Un Framework AutoML per Servizi Finanziari

Sebbene i ricercatori abbiano iniziato a lavorare sull’AutoML a metà degli anni ’90, l’AutoML ha attirato una grande attenzione negli ultimi anni, con alcune delle principali soluzioni industriali che implementano modelli di apprendimento automatico costruiti automaticamente, come Amazon’s AutoGluon, DarwinAI, H20.ai, IBM Watson AI, Microsoft (MSFT ) AzureML e molti altri. La maggior parte di questi framework implementa una soluzione AutoML generica che sviluppa modelli ML-based automaticamente su diverse classi di applicazioni, tra cui servizi finanziari, sanità, istruzione e altro. L’ipotesi principale dietro questo approccio generico è che il processo di sviluppo di modelli automatici rimane identico su tutte le applicazioni. Tuttavia, il framework LightAutoML implementa un approccio verticale per sviluppare una soluzione AutoML che non è generica, ma si adatta alle esigenze di singole applicazioni, in questo caso una grande istituzione finanziaria. Il framework LightAutoML è una soluzione AutoML verticale che si concentra sulle esigenze dell’ecosistema complesso e delle sue caratteristiche. In primo luogo, il framework LightAutoML fornisce una ricerca degli iperparametri veloce e quasi ottimale. Sebbene il modello non ottimizzi direttamente questi iperparametri, riesce a fornire risultati soddisfacenti. Inoltre, il modello mantiene l’equilibrio tra velocità e ottimizzazione degli iperparametri dinamicamente, per garantire che il modello sia ottimale su problemi piccoli e sufficientemente veloce su quelli più grandi. In secondo luogo, il framework LightAutoML limita intenzionalmente la gamma di modelli di apprendimento automatico a solo due tipi: modelli lineari e GBM o alberi di decisione con boosting di gradiente, invece di implementare grandi ensemble di algoritmi diversi. Il motivo principale dietro la limitazione della gamma di modelli di apprendimento automatico è quello di velocizzare il tempo di esecuzione del framework LightAutoML senza influire negativamente sulla prestazione per il tipo di problema e i dati dati. In terzo luogo, il framework LightAutoML presenta un metodo unico per scegliere schemi di pre-elaborazione per diverse caratteristiche utilizzate nei modelli in base a determinate regole di selezione e meta-statistiche. Il framework LightAutoML è valutato su una vasta gamma di fonti di dati aperte su una vasta gamma di applicazioni.

LightAutoML: Metodologia e Architettura

Il framework LightAutoML è composto da moduli noti come Preset, dedicati allo sviluppo di modelli end-to-end per compiti di apprendimento automatico tipici. Attualmente, il framework LightAutoML supporta moduli Preset. In primo luogo, il Preset TabularAutoML si concentra sulla risoluzione di problemi di apprendimento automatico classici definiti su set di dati tabulari. In secondo luogo, il Preset White-Box implementa algoritmi semplici e interpretabili, come la regressione logistica, invece dell’encoding WoE o del peso dell’evidenza e delle caratteristiche discretizzate per risolvere compiti di classificazione binaria su dati tabulari. L’implementazione di algoritmi semplici e interpretabili è una pratica comune per modellare la probabilità di un’applicazione a causa delle limitazioni di interpretazione poste da diversi fattori. In terzo luogo, il Preset NLP è in grado di combinare dati tabulari con strumenti di elaborazione del linguaggio naturale, tra cui modelli di apprendimento profondo pre-addestrati e estrattori di caratteristiche specifici. Infine, il Preset CV lavora con dati di immagini con l’aiuto di alcuni strumenti di base. È importante notare che, sebbene il modello LightAutoML supporti tutti e quattro i Preset, il framework utilizza solo il TabularAutoML nel sistema di produzione.

La pipeline tipica del framework LightAutoML è inclusa nell’immagine seguente.

Ogni pipeline contiene tre componenti. In primo luogo, Reader, un oggetto che riceve il tipo di compito e i dati grezzi come input, esegue calcoli di metadati cruciali, pulisce i dati iniziali e determina le manipolazioni dei dati da eseguire prima di adattare diversi modelli. In secondo luogo, i set di dati interni di LightAutoML contengono iteratori CV e metadati che implementano schemi di convalida per i set di dati. Il terzo componente sono le multiple pipeline di apprendimento automatico impilate e/o combinate per ottenere una singola previsione. Una pipeline di apprendimento automatico all’interno dell’architettura del framework LightAutoML è uno dei molti modelli di apprendimento automatico che condividono uno schema di convalida e pre-elaborazione dei dati unico. Il passaggio di pre-elaborazione può avere fino a due passaggi di selezione delle caratteristiche, un passaggio di ingegneria delle caratteristiche o può essere vuoto se non è necessaria alcuna pre-elaborazione. Le pipeline di apprendimento automatico possono essere calcolate in modo indipendente sugli stessi set di dati e quindi combinate utilizzando la media (o la media ponderata). In alternativa, può essere utilizzato uno schema di ensemble di impilamento per costruire architetture di ensemble a più livelli.

LightAutoML Tabular Preset

All’interno del framework LightAutoML, TabularAutoML è la pipeline predefinita e viene implementata nel modello per risolvere tre tipi di compiti su dati tabulari: classificazione binaria, regressione e classificazione multi-classe per una vasta gamma di metriche di prestazione e funzioni di perdita. Un tableau con le seguenti quattro colonne: caratteristiche categoriche, caratteristiche numeriche, timestamp e una singola colonna di destinazione con etichette di classe o valori continui viene alimentato al componente TabularAutoML come input. Uno degli obiettivi principali dietro la progettazione del framework LightAutoML era quello di progettare uno strumento per test di ipotesi veloci, un motivo per cui il framework evita di utilizzare metodi di ottimizzazione della pipeline brute-force e si concentra solo su tecniche e modelli efficienti che funzionano su una vasta gamma di set di dati.

Auto-Tipizzazione e Pre-elaborazione dei Dati

Per gestire diversi tipi di caratteristiche in modi diversi, il modello deve conoscere ogni tipo di caratteristica. Nella situazione in cui c’è un singolo compito con un set di dati piccolo, l’utente può specificare manualmente ogni tipo di caratteristica. Tuttavia, specificare manualmente ogni tipo di caratteristica non è più una opzione praticabile in situazioni che includono centinaia di compiti con set di dati che contengono migliaia di caratteristiche. Per il Preset TabularAutoML, il framework LightAutoML deve mappare le caratteristiche in tre classi: numerico, categoria e datetime. Una soluzione semplice e ovvia è utilizzare i tipi di dati dell’array di colonne come tipi di caratteristiche effettive, ovvero mappare le colonne float/int alle caratteristiche numeriche, timestamp o stringa, che potrebbe essere analizzata come un timestamp – a datetime, e gli altri a categoria. Tuttavia, questa mappatura non è la migliore a causa della frequente occorrenza di tipi di dati numerici nelle colonne di categoria.

Schemi di Convalida

Gli schemi di convalida sono un componente vitale dei framework AutoML, poiché i dati nell’industria sono soggetti a cambiamenti nel tempo e questo elemento di cambiamento rende le ipotesi IID o Independent Identically Distributed irrilevanti quando si sviluppa il modello. I modelli AutoML utilizzano schemi di convalida per stimare le loro prestazioni, cercare iperparametri e generare previsioni out-of-fold. La pipeline TabularAutoML implementa tre schemi di convalida:

• Convalida incrociata KFold: la convalida incrociata KFold è lo schema di convalida predefinito per la pipeline TabularAutoML, inclusa la convalida incrociata GroupKFold per modelli comportamentali e la convalida incrociata stratificata per compiti di classificazione.

• Convalida Holdout: lo schema di convalida Holdout viene implementato se è specificato il set di holdout.
• Schemi di Convalida Personalizzati: gli schemi di convalida personalizzati possono essere creati dagli utenti in base alle loro esigenze individuali. Gli schemi di convalida personalizzati includono schemi di convalida incrociata e schemi di divisione dei dati temporali.

Selezione delle Caratteristiche

Sebbene la selezione delle caratteristiche sia un aspetto cruciale dello sviluppo dei modelli secondo gli standard dell’industria, poiché facilita la riduzione dei costi di inferenza e implementazione del modello, la maggior parte delle soluzioni AutoML non si concentra molto su questo problema. Al contrario, la pipeline TabularAutoML implementa tre strategie di selezione delle caratteristiche: nessuna selezione, selezione di taglio delle importanze e selezione forward basata sull’importanza. Tra queste, la selezione di taglio delle importanze è la strategia predefinita. Inoltre, ci sono due modi principali per stimare l’importanza delle caratteristiche: l’importanza degli alberi di decisione basata sulla divisione e l’importanza delle permutazioni del modello GBM o albero di decisione con boosting di gradiente. L’obiettivo principale della selezione di taglio delle importanze è quello di rifiutare le caratteristiche che non sono utili al modello, consentendo al modello di ridurre il numero di caratteristiche senza influire negativamente sulla prestazione, un approccio che potrebbe velocizzare l’inferenza e l’addestramento del modello.

L’immagine seguente confronta diverse strategie di selezione su set di dati bancari binari.

Ottimizzazione degli Iperparametri

La pipeline TabularAutoML implementa diversi approcci per ottimizzare gli iperparametri in base a ciò che viene ottimizzato.

• Ottimizzazione degli Iperparametri con Arresto Anticipato: seleziona il numero di iterazioni per tutti i modelli durante la fase di addestramento.
• Ottimizzazione degli Iperparametri del Sistema di Esperti: è un modo semplice per impostare gli iperparametri per i modelli in modo soddisfacente. Evita che il modello finale abbia una diminuzione significativa del punteggio rispetto ai modelli ottimizzati manualmente.

• Stima della Distribuzione degli Alberi di Parzen o TPE: per modelli di albero di decisione con boosting di gradiente. TPE è una strategia di ottimizzazione mista che è la scelta predefinita nella pipeline LightAutoML. Per ogni framework GBM, il framework LightAutoML addestra due modelli: il primo ottiene iperparametri di esperti, il secondo è ottimizzato per adattarsi al budget di tempo.

• Ricerca a Griglia degli Iperparametri: viene implementata nella pipeline TabularAutoML per ottimizzare i parametri di regolarizzazione di un modello lineare insieme all’arresto anticipato e al riavvio.

Il modello ottimizza tutti i parametri massimizzando la funzione di metrica, definita dall’utente o predefinita per il compito risolto.

LightAutoML: Esperimento e Prestazione

Per valutare le prestazioni, il Preset TabularAutoML all’interno del framework LightAutoML viene confrontato con soluzioni AutoML esistenti su vari compiti e cementa la prestazione superiore del framework LightAutoML. In primo luogo, il confronto viene eseguito sulla benchmark OpenML, valutata su 35 set di dati di classificazione binaria e multi-classe. La seguente tabella riassume il confronto del framework LightAutoML con i sistemi AutoML esistenti.

Come si può vedere, il framework LightAutoML supera tutti gli altri sistemi AutoML su 20 set di dati all’interno della benchmark. La seguente tabella contiene il confronto dettagliato nel contesto del set di dati, indicando che il framework LightAutoML fornisce prestazioni diverse su diverse classi di compiti. Per i compiti di classificazione binaria, il framework LightAutoML è in ritardo in termini di prestazione, mentre per i compiti con una grande quantità di dati, il framework LightAutoML fornisce prestazioni superiori.

La seguente tabella confronta le prestazioni del framework LightAutoML con i sistemi AutoML su 15 set di dati bancari che contengono una serie di compiti di classificazione binaria. Come si può osservare, il framework LightAutoML supera tutti i sistemi AutoML su 12 dei 15 set di dati, una percentuale di vittoria dell’80%.

Pensieri Finali

In questo articolo, abbiamo parlato di LightAutoML, un sistema AutoML sviluppato principalmente per un’azienda europea operante nel settore finanziario e nel suo ecosistema. Il framework LightAutoML è distribuito su varie applicazioni e i risultati hanno dimostrato una prestazione superiore, paragonabile a quella dei data scientist, anche mentre costruiscono modelli di apprendimento automatico di alta qualità. Il framework LightAutoML tenta di fare le seguenti contribuzioni. In primo luogo, il framework LightAutoML è stato sviluppato principalmente per l’ecosistema di una grande istituzione finanziaria e bancaria europea. Grazie al suo framework e architettura, il framework LightAutoML è in grado di superare le prestazioni dei framework AutoML attuali su diverse benchmark aperte e applicazioni dell’ecosistema. La prestazione del framework LightAutoML è anche confrontata con modelli che sono stati ottimizzati manualmente da data scientist, e i risultati hanno indicato una prestazione più forte del framework LightAutoML. Il framework LightAutoML è in grado di superare le prestazioni dei framework AutoML attuali su diverse benchmark aperte e applicazioni dell’ecosistema, nonché di superare le prestazioni dei modelli ottimizzati manualmente dai data scientist.