Come possiamo utilizzare il Deep Learning con piccoli dati? – Thought Leaders

Quando si tratta di stare al passo con le tendenze emergenti della sicurezza informatica, il processo di rimanere aggiornati su eventuali sviluppi recenti può diventare piuttosto tedioso, poiché c’è molte notizie da seguire. Tuttavia, questi giorni, la situazione è cambiata drasticamente, poiché i regni della sicurezza informatica sembrano ruotare attorno a due parole: deep learning.

Sebbene inizialmente fossimo stati colpiti dalla vasta copertura che il deep learning stava ricevendo, è diventato rapidamente chiaro che il clamore generato dal deep learning era ben meritato. In modo simile al cervello umano, il deep learning consente a un modello di intelligenza artificiale di ottenere risultati estremamente precisi, eseguendo compiti direttamente dal testo, dalle immagini e dagli audio.

Fino a questo punto, si credeva ampiamente che il deep learning si basi su un enorme set di dati, simile alla portata dei dati ospitati dai giganti della Silicon Valley come Google e Facebook per raggiungere l’obiettivo di risolvere i problemi più complessi all’interno di un’organizzazione. Contrariamente alla credenza popolare, tuttavia, le imprese possono sfruttare il potere del deep learning, anche con l’accesso a un pool di dati limitato.

Nel tentativo di aiutare i nostri lettori con le conoscenze necessarie per dotare la loro organizzazione di deep learning, abbiamo compilato un articolo che si addentra (senza intenzione di fare un gioco di parole) in alcuni dei modi in cui le imprese possono utilizzare i vantaggi del deep learning nonostante abbiano accesso a dati limitati o “piccoli”.

Ma prima di poterci addentrare nel cuore dell’articolo, ci piacerebbe fare una piccola, ma essenziale, suggerimento: iniziare con semplicità. Tuttavia, prima di iniziare a formulare reti neurali complesse abbastanza da essere presenti in un film di fantascienza, iniziare sperimentando con alcuni modelli semplici e convenzionali, (ad esempio random forest) per prendere confidenza con il software.

Con questo chiarito, entriamo direttamente in alcuni dei modi in cui le imprese possono amalgamare la tecnologia del deep learning avendo accesso a dati limitati.

#1- Fine-lining del modello di base:

Come abbiamo già menzionato sopra, il primo passo che le imprese devono fare dopo aver formulato un semplice modello di base del deep learning è quello di fine-tunarlo per il problema specifico in questione.

Tuttavia, fine-tunare un modello di base suona molto più difficile sulla carta di quanto non sia in realtà. L’idea fondamentale dietro il fine-tuning di un grande set di dati per soddisfare le esigenze specifiche di un’impresa è semplice: si prende un grande set di dati che presenta una certa somiglianza con il dominio in cui si opera, e poi si fine-tunano i dettagli del set di dati originale con i propri dati limitati.

Per quanto riguarda l’ottenimento del grande set di dati, i proprietari di imprese possono fare affidamento su ImageNet, che fornisce anche una facile soluzione a eventuali problemi di classificazione delle immagini. Il set di dati ospitato da ImageNet consente alle organizzazioni di accedere a milioni di immagini, che sono suddivise in più classi di immagini, il che può essere utile per le imprese provenienti da una vasta gamma di domini, comprese, ma non limitate a, immagini di animali, ecc.

Se il processo di fine-tuning di un modello pre-addestrato per soddisfare le esigenze specifiche della vostra organizzazione sembra ancora troppo lavoro per voi, vi consigliamo di cercare aiuto su internet, poiché una semplice ricerca su Google fornirà centinaia di tutorial su come fine-tunare un set di dati.

#2- Raccogliere più dati:

Sebbene il secondo punto della nostra lista possa sembrare ridondante per alcuni dei nostri lettori più cinici, il fatto rimane: quando si tratta di deep learning, più grande è il set di dati, più probabile è che si ottengano risultati più precisi.

Sebbene l’essenza stessa di questo articolo consista nel fornire alle imprese con un set di dati limitato le conoscenze necessarie, abbiamo spesso avuto il dispiacere di incontrare troppi “capi” che trattano l’investimento nella raccolta di dati come un peccato capitale.

È troppo spesso che le imprese tendono a trascurare i vantaggi offerti dal deep learning, semplicemente perché sono riluttanti a investire tempo e sforzo nella raccolta di dati. Se la vostra impresa è incerta sulla quantità di dati che devono essere raccolti, vi suggeriamo di tracciare le curve di apprendimento, man mano che i dati aggiuntivi vengono integrati nel modello, e osservare il cambiamento nelle prestazioni del modello.

Contrariamente alla credenza popolare mantenuta dalla maggior parte dei CSO e CISO, a volte il modo migliore per risolvere i problemi è attraverso la raccolta di più dati rilevanti. Il ruolo del CSO e del CISO è estremamente importante in questo caso, poiché c’è sempre la minaccia di attacchi informatici. È stato scoperto che nel 2019, la spesa globale totale sulla sicurezza informatica è arrivata a 103,1 miliardi di dollari, e il numero continua a salire. Per mettere questo in prospettiva, consideriamo un semplice esempio: immaginate di stare cercando di classificare diamanti rari, ma di avere accesso a un set di dati molto limitato. Come soluzione più ovvia al problema, invece di avere una giornata di festa con il modello di base, raccogliete semplicemente più dati!

#3- Data Augmentation:

Sebbene i primi due punti che abbiamo discusso sopra siano entrambi altamente efficienti nel fornire una soluzione facile alla maggior parte dei problemi che circondano l’implementazione del deep learning nelle imprese con un set di dati limitato, essi si basano fortemente su un certo livello di fortuna per ottenere il lavoro fatto.

Se non riuscite ad avere successo con il fine-tuning di un set di dati pre-esistente, vi consigliamo di provare la data augmentation. Il modo in cui funziona la data augmentation è semplice. Attraverso il processo di data augmentation, il set di dati di input viene alterato, o aumentato, in modo tale da fornire un nuovo output, senza cambiare effettivamente il valore dell’etichetta.

Per mettere l’idea di data augmentation in prospettiva per i nostri lettori, consideriamo un’immagine di un cane. Quando ruotata, l’osservatore dell’immagine sarà ancora in grado di dire che si tratta di un’immagine di un cane. Questo è esattamente ciò che una buona data augmentation spera di ottenere, rispetto a un’immagine di una strada ruotata, che cambia l’angolo di elevazione e lascia molto spazio perché l’algoritmo di deep learning arrivi a una conclusione errata e vanifichi lo scopo dell’implementazione del deep learning in primo luogo.

Quando si tratta di risolvere problemi relativi alla classificazione delle immagini, la data augmentation svolge un ruolo chiave nel settore e ospita una varietà di tecniche di data augmentation che aiutano il modello di deep learning a ottenere una comprensione approfondita delle diverse classificazioni delle immagini.

Inoltre, quando si tratta di aumentare i dati, le possibilità sono virtualmente infinite. Le imprese possono implementare la data augmentation in una varietà di modi, che includono NLP e l’esperimentazione di GAN, che consente all’algoritmo di generare nuovi dati.

#4- Implementazione di un effetto ensemble:

La tecnologia dietro il deep learning detta che la rete è costruita su più livelli. Tuttavia, contrariamente alla credenza popolare mantenuta da molti, piuttosto che considerare ogni livello come una “gerarchia sempre crescente” di funzionalità, l’ultimo livello serve lo scopo di offrire un meccanismo di ensemble.

La convinzione che le imprese con accesso a un set di dati limitato dovrebbero optare per costruire le loro reti in profondità è stata condivisa anche in un documento NIPs, che ha riflesso la convinzione che abbiamo espresso sopra. Le imprese con piccoli dati possono facilmente manipolare l’effetto ensemble a loro vantaggio, semplicemente costruendo le loro reti di deep learning in profondità, attraverso il fine-tuning o alcun’altra alternativa.

#5- Incorporazione di autoencoder:

Sebbene il quinto punto che abbiamo preso in considerazione abbia ricevuto solo un relativo livello di successo, siamo ancora a favore dell’uso di autoencoder per pre-addestrare una rete e inizializzarla correttamente.

Una delle più grandi ragioni, oltre agli attacchi informatici, per cui le imprese non riescono a superare gli ostacoli iniziali dell’integrazione del deep learning è a causa di una cattiva inizializzazione e dei suoi molti trabocchetti. L’addestramento non supervisionato spesso porta a una scarsa o errata esecuzione della tecnologia del deep learning, ed è qui che gli autoencoder possono brillare.

La nozione fondamentale dietro una rete neurale detta la creazione di una rete neurale che predica la natura del set di dati in ingresso. Se non siete sicuri di come utilizzare un autoencoder, ci sono diversi tutorial online che forniscono istruzioni chiare.

Per concludere:

Alla fine dell’articolo, ci piacerebbe rimborsare ciò che abbiamo detto nel corso dell’articolo, con un’aggiunta: incorporare la conoscenza specifica del dominio nel processo di apprendimento! Non solo l’incorporazione di insight preziosi accelera il processo di apprendimento, ma consente anche alla tecnologia del deep learning di produrre risultati migliori e più precisi.