Pulire i nostri dati disordinati: come l’IA sta cambiando il gioco

Stiamo annegando nei dati. Ogni piattaforma, smartwatch e smartphone frammenta la nostra vita in informazioni quantificabili, ma la maggior parte di essi rimane incoerente e inutilizzabile.

Le aziende sanno questo, ed è per questo che il gigante tecnologico Meta ha investito 14 miliardi di dollari americani l’estate scorsa per acquisire una partecipazione del 49% nella startup di etichettatura dei dati Scale AI, facendo una mossa calcolata e strategica per garantire dati di alta qualità per i suoi modelli di intelligenza artificiale.

L’affidabilità dei grandi modelli linguistici dipende interamente dalla qualità dei dati che vengono alimentati – in breve, “spazzatura dentro, spazzatura fuori”. Oggi, tuttavia, la vera sfida che le aziende affrontano è trasformare un flusso di informazioni grezze in dati azionabili.

La soluzione potrebbe essere nascosta in piena vista: l’IA stessa può aiutare generando strategie per bypassare il tedioso compito di etichettare grandi set di dati o setacciare interminabili fogli di calcolo, trasformando il caos in intelligenza umana utilizzabile.

Quando i dati diventano disordinati: i costi nascosti per le aziende

Secondo ricerche di Gartner del 2020, la scarsa qualità dei dati costa alle organizzazioni almeno 12,9 milioni di dollari americani all’anno, influenzando la produttività e portando a decisioni mal informate e a rapporti inaccurati.

Le conseguenze dei dati disordinati sono ancora più evidenti in settori come la sanità. Registri sanitari incompleti, dettagli di fatturazione e dati non corrispondenti tra i sistemi possono portare a diagnosi errate, errori di trattamento e allocazione inefficiente delle risorse. Nel lungo termine, ciò aumenta i costi e erode la fiducia in questi sistemi.

Nel frattempo, nella logistica, i dati non corrispondenti tra i fornitori e i distributori possono portare a ritardi o carenze di inventario. Un indirizzo di consegna errato o un record di scorta obsoleto può avere un effetto a catena in tutta la catena di approvvigionamento, portando a scadenze mancate e clienti insoddisfatti.

“Essere in grado di anticipare o capire cosa potrebbe accadere [lungo il percorso] – sulla base dei dati combinati del passato – si può realmente ridurre queste inefficienze”, Asparuh Koev, CEO della società di intelligenza artificiale per la logistica Transmetrics, ha notato mentre era in conversazione con Unite AI.

In termini più pratici, i dati disordinati sono costosi. La regola 1-10-100 illustra questo: costa 1 dollaro per controllare i dati mentre vengono inseriti, 10 dollari per pulirli in seguito e 100 dollari se non si fa nulla.

Cosa portano le piattaforme alimentate da IA

Mentre le aziende lottano con quantità crescenti di dati “spazzatura”, stanno rivolgendosi all’IA per soluzioni. Le piattaforme alimentate da IA emergenti automatizzano ora il processo di pulizia dei dati, garantendo l’efficienza dei costi e migliorando l’accuratezza.

Robert Giardina, fondatore di Claritype, una di queste piattaforme, ha spiegato il processo dell’IA:

“Unisce i dati in un formato comune: parte del processo è convertire ogni dato in un formato canonico che si adatti all’azienda.”

L’IA di Claritype va oltre la semplice standardizzazione, tuttavia. La riparazione supervisionata della piattaforma consente alle organizzazioni di superare i confini dei sistemi nella ricerca di risposte alle loro domande più urgenti, abbattendo i silos.

“I sistemi che erano precedentemente mantenuti separati ciascuno detengono una parte della risposta alle domande che coprono l’intera azienda”, ha detto Giardina a Unite AI.

Se, ad esempio, un fornitore chiave è interessato da un ritardo nella consegna, solo collegando i fornitori agli ordini e alla storia del cliente, un’azienda può determinare quali dei suoi clienti più importanti dovrebbero essere informati per primi del ritardo.

“Il nostro obiettivo finale è estendere questo pensiero interconnesso per unificare ogni frammento di dati nell’azienda in modo da poter rendere ogni domanda facile e immediata da rispondere”, ha detto Giardina.

Questo tipo di pensiero interconnesso è rappresentativo del più ampio cambiamento di mentalità che si sta verificando nelle aziende oggi, poiché stanno passando da una pulizia dei dati ad hoc a una governance dei dati sistematica. Piuttosto che trattare la qualità dei dati come una soluzione una tantum, le organizzazioni stanno sviluppando processi strutturati per garantire la coerenza e l’affidabilità in tutti i loro sistemi.

La governance dei dati è ora considerata un processo aziendale di valore, non solo un compito IT. Integrando la gestione dei dati nelle loro strategie generali, le aziende possono prendere decisioni migliori e ottenere insight più significativi dai loro dati.

Come l’IA pulisce i dati e le sfide che affronta

Fidarsi eccessivamente dell’IA può essere pericoloso. Per Giardina, “le preoccupanti conversioni di dati automatizzate sono quelle che vanno oltre la standardizzazione e si avventurano nel lavoro di ipotesi.”

Ad esempio, alcuni abbreviazioni potrebbero essere facilmente fraintesi. “International Business Machines, Inc.” o “I.B.M.”, ad esempio, verrebbero normalmente convertiti in “IBM”, ma se la conversione fosse automatizzata e “I.B.” fosse accidentalmente convertito in “IBM”, potrebbe causare problemi significativi per entrambe le aziende.

I dati mancanti e inaccurati sono due dei problemi più comuni, e affidarsi solo all’IA per riempire i vuoti secondo il contesto può facilmente avere conseguenze negative. Come sottolinea Giardina, “quando gli effetti sono in qualsiasi modo significativi, abbiamo bisogno di un essere umano per approvare ogni ipotesi.”

Bilanciare l’automazione con l’insight umano

I dati disordinati mettono in luce profondi difetti nel modo in cui le organizzazioni gestiscono le informazioni. Per andare avanti e migliorare la presa di decisioni, le aziende devono smettere di considerare i dati come una questione puramente tecnica e passare a modelli di governance che combinano l’esperienza umana, la consapevolezza etica e una visione strategica a lungo termine.

Dati più puliti creano un’IA più efficace, che a sua volta aiuta a migliorare la qualità dei dati; questo ciclo di rinforzo reciproco è promettente, ma serve come promemoria che l’automazione da sola non risolverà il nostro problema di dati disordinati. Questo potenziale può essere realizzato solo accoppiando la precisione algoritmica con il giudizio umano e la consapevolezza dei pregiudizi che può introdurre, garantendo trasparenza e maggiore fiducia nei sistemi che costruiamo.

Alex Sandoval, CEO della società di intelligenza artificiale per la produzione Allie AI, ha anche sottolineato come i copiloti di intelligenza artificiale generativa non funzionino solo con algoritmi, ma si affidino alla fluente umana nella logica della fabbrica.

“I dispiegamenti più di successo di oggi non sono solo questione di alimentare i modelli con vasti dati di controller logici programmabili (PLC), note degli operatori e protocolli di conformità. Dipendono da un nuovo tipo di lavoratore di prima linea: uno che può tradurre tra il comportamento della macchina e l’intuizione digitale”, ha concluso.