I team di dati sono morti, lunga vita ai team di dati

Sì, il titolo è clickbaity e provocatorio, ma come CTO con molti anni di esperienza nei dati, ho assistito a una trasformazione che giustifica il dramma. Il tradizionale “team di dati” – la squadra di back-office che elabora report e dashboard – è effettivamente morto. Al suo posto, emerge un nuovo tipo di team di dati: un team con priorità all’intelligenza artificiale, guidato da prodotti con un impatto diretto sul fatturato. Non sono più un centro di costo, ma un gruppo che genera profitti.

Il viaggio dall’intelligenza aziendale al machine learning

Non molto tempo fa, i team di dati erano sinonimi di intelligenza aziendale (BI). Eravamo gli storici dei dati aziendali, vivendo in SQL e fogli di calcolo, incaricati di rispondere a “Cosa è successo l’ultimo trimestre?” Quando sono emerse tecnologie di big data come Hadoop e il termine “scienziato dei dati” è diventato il nuovo lavoro alla moda, i team di dati sono evoluti. A metà degli anni ’10, facevamo più che semplici report; ci siamo avventurati nel data visualization e nell’analisi interattiva, producendo dashboard dinamiche per ogni dipartimento. Il lavoro consisteva nel gestire i dati, mescolare set di dati da fonti e forme disparate e cercare di comprendere la conoscenza del dominio.

Poi, la fine degli anni ’10 ha portato l’era del machine learning. I team di dati hanno iniziato ad assumere scienziati dei dati per costruire modelli predittivi e scoprire informazioni in vasti set di dati. Siamo passati dal descrivere il passato a prevedere il futuro: modelli di churn, motori di raccomandazione, previsioni della domanda – potete scegliere. Ma anche allora, i nostri output erano presentazioni e informazioni, non prodotti live. Funzionavamo come un’agenzia di servizi interna, consigliando l’azienda attraverso l’analisi. In altre parole, eravamo centri di costo – preziosi, sì, ma a un passo di distanza dal prodotto e dal fatturato principale.

Nei migliori casi, i team di machine learning erano dispersi in unità separate o integrati all’interno dei gruppi di prodotto, in modo che i loro modelli e inferenze potessero essere completamente integrati nelle piattaforme. La grande divisione ha portato a numerosi progetti falliti, investimenti sommersi e opportunità perse.

GenAI: da funzione di supporto a centro di profitto

Poi è arrivato GenAI e tutto è cambiato. La release di potenti modelli linguistici di grandi dimensioni, come la famiglia GPT e le varianti open-source come Llama, ha capovolto il paesaggio virtualmente da un giorno all’altro. Improvvisamente, i team di dati non stavano più solo analizzando l’azienda, ma diventavano fondamentali per la costruzione di prodotti e esperienze di intelligenza artificiale. Quando si integra con successo un LLM in un’applicazione rivolta al cliente o in un flusso di lavoro interno, non si informa più solo l’azienda; la si guida. Un sistema GenAI ben implementato può automatizzare il supporto clienti, generare contenuti di marketing, personalizzare le esperienze utente o addirittura fornire i dati necessari per informare e formare sistemi di intelligenza artificiale emergenti. Queste capacità influiscono direttamente sui flussi di fatturato. In effetti, il prodotto del lavoro del team di dati è passato da slide di PowerPoint a applicazioni di intelligenza artificiale live.

I team GenAI sono iniziati con gruppi di innovazione, consegnando prove di concetto che generavano “wow factor”. E presto, tutti erano ingegneri di intelligenza artificiale, diffondendo l’IT ombra attraverso le organizzazioni.

I team di dati si sono presto trovati di fronte a una nuova domanda: “Quando diventerai un centro di profitto?” Mentre gli ingegneri di intelligenza artificiale iniziavano a creare strumenti incredibili, era chiaro che era giunto il momento di fondere due team: quelli che controllavano i dati e quelli che costruivano le applicazioni.

Considerate un’azienda di vendita al dettaglio che distribuisce un chatbot GenAI per la gestione delle richieste di vendita, o una banca che lancia un consulente di investimenti personalizzato guidato da intelligenza artificiale. Questi non sono progetti di IT tradizionali – sono prodotti digitali che creano valore per il cliente e generano fatturato. Tuttavia, allo stesso tempo, per creare questi sistemi su larga scala, i team di ingegneria di intelligenza artificiale devono essere in grado di accedere e operativizzare i dati che i team tradizionali hanno preparato.

I dirigenti se ne sono accorti. Le aspettative dei team di dati sono ora altissime, con consigli di amministrazione e CEO che si aspettano da noi di consegnare il prossimo vettore di crescita alimentato da intelligenza artificiale. Siamo passati dall’essere analisti dietro le quinte a innovatori di prima linea. È una posizione emozionante in cui trovarsi, ma viene con una forte pressione per consegnare risultati su larga scala.

Dall’esplorazione al prodotto – una porta a senso unico

Il passaggio dall’analisi esplorativa al prodotto centrato sull’intelligenza artificiale è profondo e irreversibile. Perché irreversibile? Perché l’impatto di GenAI sull’azienda si sta rivelando troppo grande per relegarlo nuovamente a un giocattolo di R&D. Secondo un recente sondaggio globale, 96% dei leader IT hanno ora integrato l’intelligenza artificiale nei loro processi principali – in aumento rispetto all’88% di solo un anno fa. In altre parole, quasi ogni azienda è passata dall’esperimentare con l’intelligenza artificiale all’integrarla in flussi di lavoro mission-critical. Una volta che si supera la soglia in cui l’intelligenza artificiale sta consegnando valore in produzione, non c’è più ritorno.

Questo nuovo focus sull’intelligenza artificiale cambia il ritmo e la mentalità dei team di dati. In passato, avevamo il lusso di progetti di scoperta lunghi e analisi aperte. Oggi, se stiamo costruendo una funzionalità di intelligenza artificiale, deve essere pronta per la produzione, conforme e affidabile – come qualsiasi prodotto rivolto al cliente. Siamo entrati in ciò che alcuni chiamano l'”Età Autonoma” della scienza dei dati. La domanda che guida il nostro lavoro non è più “quali informazioni possiamo scoprire?” ma “quale sistema intelligente possiamo costruire che agisce sulle informazioni in tempo reale?”

I sistemi GenAI non stanno solo rispondendo a domande; stanno iniziando a prendere decisioni. È una porta a senso unico: dopo aver sperimentato questo tipo di autonomia e impatto, le aziende non si accontenteranno più di report statici e decisioni manuali. Ora più che mai, i team di dati devono essere orientati ai stakeholder e ai prodotti.

La dura verità: perché la maggior parte delle iniziative GenAI fallisce

In mezzo a tutto l’entusiasmo, c’è una sobria realtà: la maggior parte delle iniziative GenAI fallisce. Risulta che il deploy di GenAI di successo è estremamente impegnativo. Uno studio recente del MIT ha scoperto che un impressionante 95% dei progetti pilota di intelligenza artificiale aziendale non consegnano un ROI misurabile. Solo circa il 5% dei piloti di intelligenza artificiale raggiungono effettivamente guadagni rapidi di fatturato o un impatto aziendale significativo. Ciò non è dovuto alla mancanza di potenziale – è dovuto alla complessità di fare l’intelligenza artificiale nel modo giusto.

Scavando nelle cause del fallimento, la ricerca del MIT dipinge un quadro chiaro. Molti progetti inciampano perché “si dà più importanza all’iperedia che al lavoro duro” – i team inseguono casi d’uso dimostrativi appariscenti invece di investire nei fondamentali noiosi dell’integrazione, della convalida e del monitoraggio. Altri falliscono a causa del classico sindrome “immondizia dentro, immondizia fuori” – la scarsa qualità dei dati e le pipeline di dati in silos condannano il progetto prima che l’intelligenza artificiale possa fare il suo lavoro. Spesso, non è il modello di intelligenza artificiale che è difettoso, è l’ambiente circostante. Come affermano i ricercatori, GenAI non fallisce in laboratorio; fallisce nell’azienda quando collide con obiettivi vaghi, scarsa qualità dei dati e inerzia organizzativa. Nella pratica, la maggior parte dei piloti di intelligenza artificiale si ferma allo stadio della prova di concetto e non si laurea mai al deploy completo di produzione.

Questa realtà è una lezione preziosa. Ci dice che anche se i team di dati sono ora sotto i riflettori, la maggior parte sta lottando per soddisfare le aspettative aumentate. Per il successo di GenAI su larga scala, dobbiamo superare una barra significativamente più alta di quella che abbiamo fatto nei vecchi giorni di BI.

Oltre le promesse intelligenti: dati, governance e infrastruttura contano

Cosa separa il 5% dei progetti di intelligenza artificiale che prosperano dal 95% che falliscono? Nella mia esperienza (e come conferma la ricerca), i vincitori si concentrano su capacità fondamentali – dati, governance e infrastruttura. GenAI non è magia; è costruito sui dati. Senza pipeline di dati di alta qualità, ben gestite, che alimentano i modelli, anche la migliore intelligenza artificiale produrrà risultati erratici. Summit Partners l’ha espresso bene in un’analisi recente: “il successo di qualsiasi sistema o processo che utilizza l’intelligenza artificiale dipende dalla qualità, dalla struttura e dall’accessibilità dei dati che lo alimentano.”

In termini pratici, ciò significa che le organizzazioni devono raddoppiare gli sforzi sull’architettura dei dati e sulla governance mentre adottano GenAI. Avete archivi di dati unificati e accessibili che la vostra intelligenza artificiale possa attingere (e intendo tutti gli archivi di dati, compresi i centri di dati, i sistemi hyperscaler e i sistemi SaaS di terze parti, tra gli altri)? Quei dati sono puliti, curati e conformi alle normative? C’è una chiara linea di discendenza dei dati e tracciabilità (in modo da poter fidarsi degli output dell’intelligenza artificiale e sapere come sono stati generati)? Queste domande sono ora in primo piano.

GenAI sta costringendo le aziende a mettere finalmente in ordine la loro casa dei dati.

La governance ha anche assunto un nuovo significato. Quando un modello di intelligenza artificiale può potenzialmente generare una risposta errata (o offensiva), una governance robusta non è più opzionale – è obbligatoria. Controlli come la versione, i controlli di bias, la revisione umana e misure di sicurezza rigorose per i dati sensibili sono essenziali. Senza una governance adeguata, formazione e obiettivi chiaramente definiti, anche uno strumento di intelligenza artificiale solido lotterà per guadagnare trazione nel business.

E non dimentichiamo l’infrastruttura. Il deploy di GenAI su larga scala richiede una notevole potenza di calcolo e una rigorosa ingegneria. I modelli devono essere serviti in tempo reale, attraverso possibilmente milioni di query con bassa latenza. Spesso richiedono GPU o hardware specializzato, nonché monitoraggio, conservazione e gestione del ciclo di vita continuo. In breve, avete bisogno di un’infrastruttura di intelligenza artificiale di livello industriale che sia sicura, scalabile e resiliente. È qui che entra in gioco il concetto di Private AI come quadro che unisce l’infrastruttura con i dati e la governance. Private AI si riferisce allo sviluppo di intelligenza artificiale all’interno di un ambiente controllato e sicuro, garantendo la sicurezza e la conformità dei dati.

Il punto fondamentale è che il successo di GenAI dipende dall’armonia di tre pilastri: dati, governance e infrastruttura. Senza uno di questi, si rischia di unirsi al 95% dei progetti che non scaleranno mai oltre lo stadio della demo.

Perché gli ingegneri di intelligenza artificiale non possono farlo da soli

Date queste esigenze, è chiaro che assumere semplicemente alcuni ingegneri di intelligenza artificiale talentuosi non è una soluzione magica. Abbiamo imparato questa lezione negli ultimi anni nell’industria dei dati. Ai primi giorni del boom della scienza dei dati, le aziende hanno cercato di trovare “unicorni” scienziati dei dati che potessero fare tutto – costruire modelli, scrivere codice, gestire dati e deploy. Quel mito è stato da allora smentito. Come ha detto un veterano scienziato dei dati, “un modello che si trova in un notebook non fa effettivamente nulla per l’azienda.” Avete bisogno di incorporare quel modello in un’applicazione o processo per creare valore. E fare ciò richiede uno sforzo di squadra che copre più skill set.

Negli anni ’10, abbiamo visto i team di dati diversificarsi in ruoli distinti: gli ingegneri dei dati hanno iniziato a costruire pipeline robuste, gli ingegneri di machine learning si sono concentrati sulla produzione di modelli, gli ingegneri di analisi hanno gestito il livello di analisi e così via.

Oggi, GenAI alza la barra ancora più in alto. Sì, avete bisogno di specialisti di intelligenza artificiale (ingegneri di prompt, fine-tuners di LLM, ecc.), ma quei specialisti si scontreranno con un muro se non hanno pipeline di dati mature, framework di governance e piattaforme sicure con cui lavorare. Un ingegnere di intelligenza artificiale può prototipare un grande modello linguistico in un sandbox, ma trasformarlo in un prodotto utilizzato da migliaia o milioni richiede la collaborazione con team di sicurezza, funzionari di conformità, architetti di dati, ingegneri di affidabilità del sito e molti altri.

L’intelligenza artificiale è uno sport di squadra. È tentante pensare che si possa semplicemente inserire un modello di intelligenza artificiale all’avanguardia nel proprio business e avere improvvisamente un’azienda guidata dall’intelligenza artificiale. Le aziende che hanno successo con l’intelligenza artificiale sono quelle che hanno costruito team cross-funzionali, o “fabbriche di intelligenza artificiale”, che uniscono tutti questi pezzi. I loro team di dati sono effettivamente evoluti in team di prodotti di intelligenza artificiale full-stack, combinando dati, modellazione, ingegneria e competenze operative. Stanno costruendo e distribuendo i loro strumenti in un modo guidato dai dati e dai prodotti, con la generazione di valore incorporata in ogni KPI.

La prossima generazione di team di dati

Quindi, cosa riserva il futuro per il nuovo “team di dati”? Ecco uno sguardo a ciò che sta per arrivare per questi team nei prossimi anni:

• Meno ETL/ELT manuale: La noiosa gestione dei dati diminuirà. Con pipeline di dati più automatizzate e l’integrazione assistita dall’intelligenza artificiale, i team non passeranno più metà del loro tempo a pulire e spostare dati. Il lavoro di preparazione dei dati sarà gestito sempre più da sistemi intelligenti, permettendo agli umani di concentrarsi sul design e il controllo di qualità di alto livello.
• Meno dashboard: L’era dell’aggiustamento infinito dei filtri dei dashboard è in declino. L’intelligenza artificiale abiliterà una query più naturale e la consegna di informazioni dinamiche. Invece di dashboard preconfigurate per ogni domanda, gli utenti riceveranno risposte conversazionali dall’intelligenza artificiale (con dati di origine allegati). I team di dati passeranno meno tempo a sviluppare report statici e più tempo ad addestrare l’intelligenza artificiale a generare informazioni al volo.
• Lo sviluppo di prodotti nativi di intelligenza artificiale: I team di dati saranno al cuore dell’innovazione dei prodotti. Che si tratti di sviluppare una nuova funzionalità di intelligenza artificiale rivolta al cliente o di uno strumento interno di intelligenza artificiale che ottimizza le operazioni, questi team agiranno come team di prodotti. Utilizzeranno pratiche di sviluppo software, prototipazione rapida, test A/B e design dell’esperienza utente – non solo analisi dei dati. Ogni team di dati diventerà, di fatto, un team di prodotti di intelligenza artificiale che consegna valore aziendale diretto.
• Gli agenti autonomi in ascesa: Nel prossimo futuro, i team di dati distribuiranno agenti autonomi di intelligenza artificiale per gestire decisioni e compiti di routine. Invece di semplicemente prevedere gli esiti, questi agenti saranno autorizzati a prendere determinate azioni (con supervisione). Immaginate un agente di intelligenza artificiale per le operazioni che può rilevare un’anomalia e automaticamente aprire un ticket di risoluzione, o un agente di intelligenza artificiale per le vendite che regola i prezzi e-commerce in tempo reale. I team di dati saranno responsabili della costruzione e della gestione di questi agenti, spingendo i confini di ciò che l’automazione può realizzare.

Alla luce di questi cambiamenti, si potrebbe effettivamente dire “i team di dati come li conoscevamo sono morti”. I “jockey” delle cartelle di calcolo e gli idraulici delle dashboard hanno ceduto il passo a qualcosa di nuovo: team con priorità all’intelligenza artificiale che sono fluenti in dati, codice e strategia aziendale. Ma lungi dall’essere un elogio funebre, questa è una celebrazione. La nuova generazione di team di dati sta solo iniziando, e sono più preziosi che mai

Quindi, ricordate, l’ingegnere dei dati è morto, lunga vita all’ingegnere dei dati! I team di dati come li conoscevamo sono scomparsi, ma lunga vita ai nuovi team di dati – possano regnare in questo mondo guidato dall’intelligenza artificiale con insight, responsabilità e audacia.