Che cos’è il Dato Sintetico?

Che cos’è il Dato Sintetico?

Il dato sintetico è una tendenza in rapida espansione e uno strumento emergente nel campo della scienza dei dati. Che cos’è esattamente il dato sintetico? La risposta breve è che il dato sintetico è composto da dati che non si basano su fenomeni o eventi del mondo reale, ma è generato attraverso un programma informatico. Eppure, perché il dato sintetico sta diventando così importante per la scienza dei dati? Come viene creato il dato sintetico? Esploriamo le risposte a queste domande.

Che cos’è un Set di Dati Sintetici?

Come suggerisce il termine “sintetico”, i set di dati sintetici sono generati attraverso programmi informatici, anziché essere composti attraverso la documentazione di eventi del mondo reale. L’obiettivo principale di un set di dati sintetici è essere abbastanza versatile e robusto da essere utile per l’addestramento di modelli di apprendimento automatico.

Per essere utili per un classificatore di apprendimento automatico, i dati sintetici dovrebbero avere determinate proprietà. Mentre i dati possono essere categoriali, binari o numerici, la lunghezza del set di dati dovrebbe essere arbitraria e i dati dovrebbero essere generati casualmente. I processi casuali utilizzati per generare i dati dovrebbero essere controllabili e basati su diverse distribuzioni statistiche. Il rumore casuale può anche essere inserito nel set di dati.

Se i dati sintetici sono utilizzati per un algoritmo di classificazione, la quantità di separazione delle classi dovrebbe essere personalizzabile, in modo che il problema di classificazione possa essere reso più facile o più difficile in base alle esigenze del problema. Nel frattempo, per un compito di regressione, possono essere utilizzati processi generativi non lineari per generare i dati.

Perché Utilizzare i Dati Sintetici?

Mentre le strutture di apprendimento automatico come TensorFlow e PyTorch diventano più facili da utilizzare e i modelli preprogettati per la visione artificiale e l’elaborazione del linguaggio naturale diventano più ubiqui e potenti, il problema principale che gli scienziati dei dati devono affrontare è la raccolta e la gestione dei dati. Le aziende spesso hanno difficoltà ad acquisire grandi quantità di dati per addestrare un modello accurato entro un determinato periodo di tempo. L’etichettatura manuale dei dati è un metodo costoso e lento per acquisire dati. Tuttavia, la generazione e l’utilizzo di dati sintetici possono aiutare gli scienziati dei dati e le aziende a superare questi ostacoli e a sviluppare modelli di apprendimento automatico in modo più rapido.

Esistono diversi vantaggi nell’utilizzo dei dati sintetici. Il modo più ovvio in cui l’utilizzo dei dati sintetici beneficia la scienza dei dati è che riduce la necessità di catturare dati da eventi del mondo reale, e per questo motivo è possibile generare dati e costruire un set di dati molto più rapidamente di un set di dati dipendente da eventi del mondo reale. Ciò significa che grandi volumi di dati possono essere prodotti in un breve lasso di tempo. Ciò è particolarmente vero per eventi che si verificano raramente, poiché se un evento si verifica raramente nel mondo reale, più dati possono essere simulati a partire da alcuni campioni di dati reali. Oltre a ciò, i dati possono essere etichettati automaticamente mentre vengono generati, riducendo drasticamente il tempo necessario per etichettare i dati.

I dati sintetici possono anche essere utili per ottenere dati di addestramento per casi limite, che sono istanze che possono verificarsi raramente ma sono cruciali per il successo dell’IA. I casi limite sono eventi che sono molto simili all’obiettivo principale di un’IA, ma differiscono in modi importanti. Ad esempio, gli oggetti che sono solo parzialmente in vista potrebbero essere considerati casi limite quando si progetta un classificatore di immagini.

Infine, i set di dati sintetici possono minimizzare le preoccupazioni relative alla privacy. I tentativi di anonimizzare i dati possono essere inefficaci, poiché anche se le variabili sensibili/identificative vengono rimosse dal set di dati, altre variabili possono agire come identificatori quando vengono combinate. Ciò non è un problema con i dati sintetici, poiché non si basano su una persona o un evento reali.

Casi d’Uso per i Dati Sintetici

I dati sintetici hanno una vasta gamma di casi d’uso, poiché possono essere applicati a quasi ogni compito di apprendimento automatico. Casi d’uso comuni per i dati sintetici includono veicoli autonomi, sicurezza, robotica, protezione dalle frodi e sanità.

Uno dei primi casi d’uso per i dati sintetici era costituito dalle auto a guida autonoma, poiché i dati sintetici vengono utilizzati per creare dati di addestramento per auto in condizioni in cui è difficile o pericoloso ottenere dati di addestramento reali. I dati sintetici sono anche utili per la creazione di dati utilizzati per addestrare sistemi di riconoscimento di immagini, come i sistemi di sorveglianza, molto più efficientemente di quanto non si faccia con la raccolta e l’etichettatura manuale di grandi quantità di dati di addestramento. I sistemi di robotica possono essere lenti nell’addestramento e nello sviluppo con metodi tradizionali di raccolta e addestramento dei dati. I dati sintetici consentono alle aziende di robotica di testare e progettare sistemi di robotica attraverso simulazioni. I sistemi di protezione dalle frodi possono trarre vantaggio dai dati sintetici, e nuovi metodi di rilevamento delle frodi possono essere addestrati e testati con dati costantemente nuovi quando vengono utilizzati i dati sintetici. Nel campo della sanità, i dati sintetici possono essere utilizzati per progettare classificatori sanitari che siano accurati e preservino la privacy delle persone, poiché i dati non si basano su persone reali.

Sfide dei Dati Sintetici

Mentre l’utilizzo dei dati sintetici presenta molti vantaggi, presenta anche molte sfide.

Quando vengono creati dati sintetici, spesso mancano di valori anomali. I valori anomali si verificano naturalmente nei dati e, sebbene vengano spesso rimossi dai set di dati di addestramento, la loro esistenza può essere necessaria per addestrare modelli di apprendimento automatico realmente affidabili. Oltre a ciò, la qualità dei dati sintetici può essere altamente variabile. I dati sintetici vengono spesso generati con un input o un dato di base, e quindi la qualità dei dati può dipendere dalla qualità del dato di base. Se i dati utilizzati per generare i dati sintetici sono distorti, i dati generati possono perpetuare quella distorsione. I dati sintetici richiedono anche una qualche forma di controllo della qualità. Devono essere verificati contro dati annotati manualmente o contro dati autentici in qualche forma.

Come Vengono Creati i Dati Sintetici?

I dati sintetici vengono creati programmaticamente con tecniche di apprendimento automatico. Le tecniche di apprendimento automatico classiche come gli alberi decisionali possono essere utilizzate, così come le tecniche di apprendimento profondo. I requisiti per i dati sintetici influenzeranno il tipo di algoritmo utilizzato per generare i dati. Gli alberi decisionali e modelli di apprendimento automatico simili consentono alle aziende di creare distribuzioni di dati non classiche e multimodali, addestrate su esempi di dati del mondo reale. La generazione di dati con questi algoritmi fornirà dati che sono altamente correlati con i dati di addestramento originali. Per gli istanziamenti in cui la distribuzione tipica dei dati è nota, un’azienda può generare dati sintetici attraverso l’utilizzo di un metodo di Monte Carlo.

Le tecniche di apprendimento profondo per la generazione di dati sintetici utilizzano tipicamente un autoencoder variazionale (VAE) o una rete generativa antagonista (GAN). I VAE sono modelli di apprendimento automatico non supervisionato che utilizzano encoder e decoder. La parte dell’encoder di un VAE è responsabile della compressione dei dati in una versione più semplice e compatta del set di dati originale, che il decoder analizza e utilizza per generare una rappresentazione del set di dati di base. Un VAE viene addestrato con l’obiettivo di avere una relazione ottimale tra i dati di input e di output, una in cui sia i dati di input che di output sono estremamente simili.

Quando si tratta di modelli GAN, vengono chiamati “antagonisti” a causa del fatto che i GAN sono in realtà due reti che competono l’una con l’altra. Il generatore è responsabile della generazione di dati sintetici, mentre la seconda rete (il discriminatore) opera confrontando i dati generati con un set di dati reali e cercando di determinare quali dati sono falsi. Quando il discriminatore individua dati falsi, il generatore viene notificato e apporta modifiche per cercare di ottenere un nuovo batch di dati dal discriminatore. A sua volta, il discriminatore diventa sempre più bravo a rilevare i falsi. Le due reti vengono addestrate l’una contro l’altra, con i falsi che diventano sempre più realistici.