L’alto costo dei dati sporchi nello sviluppo dell’AI

Non è un segreto che ci sia una corsa all’oro moderna in corso nello sviluppo dell’AI. Secondo il 2024 Work Trend Index di Microsoft (MSFT ) e Linkedin, oltre il 40% dei leader aziendali prevede di ridisegnare completamente i propri processi aziendali da zero utilizzando l’intelligenza artificiale (AI) nei prossimi anni. Questo cambiamento sismico non è solo un aggiornamento tecnologico; è una trasformazione fondamentale di come le aziende operano, prendono decisioni e interagiscono con i clienti. Questo rapido sviluppo sta alimentando una domanda di dati e strumenti di gestione dei dati di prima parte. Secondo Forrester, un impressionante 92% dei leader tecnologici sta pianificando di aumentare i propri budget per la gestione dei dati e l’AI nel 2024.

Nell’ultimo McKinsey Global Survey on AI, il 65% dei rispondenti ha indicato che le proprie organizzazioni utilizzano regolarmente tecnologie di AI generative. Mentre questo adozione segnala un notevole passo avanti, evidenzia anche una critica sfida: la qualità dei dati che alimentano questi sistemi AI. In un’industria in cui l’AI efficace è solo buona quanto i dati su cui è addestrata, i dati affidabili e precisi stanno diventando sempre più difficili da reperire.

L’alto costo dei dati sporchi

I dati sporchi non sono un problema nuovo, ma il loro impatto è amplificato nell’era dell’AI. Nel 2017, uno studio del Massachusetts Institute of Technology (MIT) ha stimato che i dati sporchi costano alle aziende un incredibile 15% al 25% del loro fatturato. Nel 2021, Gartner ha stimato che i dati di scarsa qualità costano alle organizzazioni una media di 12,9 milioni di dollari all’anno.

I dati sporchi – dati che sono incompleti, inaccurati o incoerenti – possono avere un effetto a catena sui sistemi AI. Quando i modelli AI vengono addestrati su dati di scarsa qualità, le informazioni e le previsioni risultanti sono fondamentalmente difettose. Ciò non solo mina l’efficacia delle applicazioni AI, ma rappresenta anche rischi significativi per le aziende che si affidano a queste tecnologie per la presa di decisioni critiche.

Ciò sta creando un grande mal di testa per i team di data science aziendali, che hanno dovuto concentrare sempre più le proprie risorse limitate sulla pulizia e organizzazione dei dati. In un recente rapporto sullo stato dell’ingegneria analitica condotto da DBT, il 57% dei professionisti della data science ha citato la scarsa qualità dei dati come un problema predominante nel proprio lavoro.

Le ripercussioni sui modelli AI

L’impatto dei dati sporchi sullo sviluppo dell’AI si manifesta in tre modi principali:

1. Ridotta accuratezza e affidabilità: i modelli AI prosperano sui pattern e le correlazioni derivati dai dati. Quando i dati di input sono contaminati, i modelli producono output inaffidabili; noti come “allucinazioni AI”. Ciò può portare a strategie errate, fallimenti di prodotto e perdita di fiducia dei clienti.
2. Amplificazione dei pregiudizi: i dati sporchi spesso contengono pregiudizi che, se non controllati, vengono incorporati negli algoritmi AI. Ciò può portare a pratiche discriminatorie, soprattutto in aree sensibili come l’assunzione, il prestito e l’applicazione della legge. Ad esempio, se uno strumento di reclutamento AI viene addestrato su dati storici di assunzione pregiudiziali, potrebbe favorire ingiustamente alcune demografie rispetto ad altre.
3. Aumento dei costi operativi: i sistemi AI difettosi richiedono una costante regolazione e riaddestramento, il che consuma tempo e risorse aggiuntivi. Le aziende potrebbero ritrovarsi in un ciclo perpetuo di correzione degli errori anziché innovare e migliorare.

La datapocalisse in arrivo

“Stiamo avvicinandoci a un “punto di svolta” – dove il contenuto generato da non umani supererà notevolmente la quantità di contenuto generato da umani. I progressi nell’AI stessa stanno fornendo nuovi strumenti per la pulizia e la convalida dei dati. Tuttavia, la quantità esponenziale di contenuto generato da AI sul web sta crescendo.

Man mano che più contenuto generato da AI viene pubblicato sul web e che tale contenuto è generato da LLM addestrati su contenuto generato da AI, stiamo guardando a un futuro in cui i dati di prima parte e attendibili diventeranno beni rari e preziosi.

Le sfide della diluizione dei dati

La proliferazione del contenuto generato da AI crea diverse sfide principali per l’industria:

• Controllo della qualità: distinguere tra dati generati da umani e dati generati da AI diventa sempre più difficile, rendendo più difficile garantire la qualità e l’affidabilità dei dati utilizzati per l’addestramento dei modelli AI.
• Questioni di proprietà intellettuale: poiché i modelli AI apprendono involontariamente da contenuto generato da AI, sorgono domande sulla proprietà e sui diritti associati ai dati, potenzialmente portando a complicazioni legali.
• Implicazioni etiche: la mancanza di trasparenza sulle origini dei dati può portare a problemi etici, come la diffusione di disinformazione o il rafforzamento dei pregiudizi.

I servizi di dati come fondamentali

I servizi di dati come servizio (DaaS) stanno diventando sempre più fondamentali per complementare e migliorare i dati di prima parte per l’addestramento. Il vero valore del DaaS è il dato stesso, che è stato normalizzato, pulito e valutato per vari casi d’uso e applicazioni commerciali, nonché la standardizzazione dei processi per adattarsi al sistema che digerisce i dati. Man mano che questo settore matura, prevedo che inizieremo a vedere questa standardizzazione in tutto il settore dei dati. Stiamo già vedendo questo spinta all’uniformità all’interno del settore dei media retail.

Man mano che l’AI continua a permeare vari settori, l’importanza della qualità dei dati aumenterà solo. Le aziende che danno priorità ai dati puliti guadagneranno un vantaggio competitivo, mentre quelle che trascurano questo aspetto cadranno rapidamente indietro.

L’alto costo dei dati sporchi nello sviluppo dell’AI è un problema urgente che non può essere ignorato. La scarsa qualità dei dati mina le fondamenta stesse dei sistemi AI, portando a informazioni difettose, costi aumentati e potenziali rischi etici. Adottando strategie di gestione dei dati complete e promuovendo una cultura che valorizza l’integrità dei dati, le organizzazioni possono mitigare questi rischi.

In un’era in cui i dati sono il nuovo petrolio, assicurarsi della loro purezza non è solo una necessità tecnica, ma un’imperativa strategica. Le aziende che investono in dati puliti oggi saranno quelle che guideranno la frontiera dell’innovazione domani.