Perché il 95% delle iniziative di intelligenza artificiale non produce alcun ritorno sugli investimenti

Uno studio recente del MIT ha scoperto che il 95% delle organizzazioni non ottiene alcun ritorno sugli investimenti dalle iniziative di intelligenza artificiale generativa; nessun impatto misurabile sul bilancio nonostante gli investimenti significativi. I titoli dei giornali si sono concentrati sul tasso di fallimento, ma la vera domanda non è se la tecnologia funzioni. I Large Language Model sono potenti, accessibili e in rapida evoluzione. Il problema è come le aziende cercano di utilizzarli.

La maggior parte delle organizzazioni si avvicina agli agenti di intelligenza artificiale nello stesso modo in cui si sono avvicinate a ogni altro rollout tecnologico. Prendono processi esistenti, aggiungono un po’ di intelligenza artificiale e si aspettano il miracolo. Quando non funziona, incolpano i modelli. Ma il fallimento si verifica molto prima che l’intelligenza artificiale sia coinvolta.

Ho visto questo pattern ripetersi costantemente in aziende che costruiscono flussi di lavoro di intelligenza artificiale. I team si entusiasmano per le possibilità, si precipitano nello sviluppo e poi incontrano gli stessi ostacoli prevedibili. La differenza tra il 5% che ha successo e il 95% che produce zero ritorno sugli investimenti non è questione di fortuna o budget; è evitare sei errori critici che uccidono il valore degli agenti di intelligenza artificiale prima ancora che inizi.

I tuoi dati sono più disordinati di quanto pensi

La maggior parte dei team pensa di avere dati significa che sono pronti per l’intelligenza artificiale. Indicano il loro lago di dati, il loro CRM, i loro database mantenuti con cura e presumono che il successo sia garantito. Poi scaricano tutto in un LLM e si chiedono perché il loro agente produce output spazzatura o brucia il loro budget in pochi giorni.

I dati disordinati creano agenti disordinati. Se stai inviando dump di database grezzi, esportazioni piene di HTML o blob di testo non strutturati a un agente di intelligenza artificiale, lo stai configurando per fallire. I modelli si confondono con campi non pertinenti, vengono distratti da artefatti di formattazione e vengono sopraffatti dal volume.

I team inviano regolarmente record dei clienti con 47 campi quando solo 3 sono decisionali. Includono UUID che aggiungono zero valore semantico ma consumano token preziosi. Inviano agenti HTML recuperati da strumenti interni invece di informazioni pulite e strutturate.

Raggiungerai i limiti più velocemente del previsto

Ogni team crede di non raggiungere mai i limiti di contesto. “Stiamo solo elaborando pochi record dei clienti”, dicono. “Quanto può essere difficile?” Poi il loro agente deve analizzare 500 biglietti di supporto, ognuno con la storia completa della conversazione, e improvvisamente si scontrano con i soffitti di un milione di token.

I contesti grandi si accumulano più velocemente di quanto chiunque si aspetti. Un agente di supporto clienti che gestisce le escalation potrebbe aver bisogno di accedere alla storia del biglietto, agli articoli della knowledge base, alle interazioni precedenti e alla documentazione del prodotto. Questo è facilmente centinaia di migliaia di token per richiesta. Moltiplicare ciò per utenti simultanei e i costi della tua infrastruttura schizzano fuori controllo.

L’approccio ingenuo è quello di inviare semplicemente tutto al modello e sperare nel meglio. I team intelligenti dividono le richieste in pezzi, riassumono ogni pezzo e poi operano su un riassunto di riassunti. Questa gerarchia di riassunti mantiene le richieste gestibili mentre preserva le informazioni critiche che gli agenti devono prendere per prendere buone decisioni.

La sicurezza si complica velocemente

I team si entusiasmano per la personalità e le capacità del loro agente di intelligenza artificiale, scrivono alcune linee guida di base e pensano di essere protetti. In realtà, gli agenti di intelligenza artificiale richiedono un pensiero sulla sicurezza fondamentalmente diverso da quello delle applicazioni tradizionali.

Gli agenti di intelligenza artificiale possono essere ingannati, manipolati e costretti in modi che violano i modelli di sicurezza convenzionali. Gli input degli utenti possono contenere istruzioni nascoste che annullano le tue promozioni attentamente create. Gli agenti possono essere convinti a ignorare le loro linee guida, accedere a dati che non dovrebbero vedere o intraprendere azioni al di fuori del loro scopo previsto.

Le implementazioni intelligenti richiedono confini rigorosi su ciò che gli agenti possono e non possono fare. Per tutto ciò che modifica lo stato; scrivere dati, inviare e-mail, effettuare chiamate API; hai bisogno di un flusso di lavoro di proposta-giustificazione-approvazione. L’agente spiega cosa vuole fare e perché, poi aspetta l’approvazione umana prima di agire. Ciò impedisce l’automazione fuori controllo mentre mantiene i vantaggi dell’assistenza all’intelligenza artificiale.

Cosa funziona realmente

Dopo aver osservato centinaia di implementazioni di agenti di intelligenza artificiale, sei pratiche separano i deploy di successo dai fallimenti costosi.

La prima è l’igiene dei dati. Invia JSON compatto, tipizzato con schemi fissi. Rimuovi UUID, HTML, campi duplicati e qualsiasi informazione sensibile a meno che non sia assolutamente decisionale. Sostituisci i dati sensibili con metadati quando possibile. Ciò mantiene i modelli focalizzati mentre riduce la dimensione del payload, il costo e la latenza.

La seconda è la gestione del contesto. Raggiungerai i limiti dei token più velocemente del previsto. Dividi le richieste in pezzi più piccoli, riassumi ogni pezzo e poi opera su riassunti. Questo approccio gerarchico mantiene le richieste sotto controllo mentre preserva il contesto necessario.

La terza è la sicurezza delle promozioni. Definisci confini rigorosi per ciò che il tuo agente può e non può fare. Implementa flussi di lavoro di proposta-giustificazione-approvazione per tutto ciò che modifica lo stato. Tratta tutti i contenuti degli utenti come non attendibili; rimuovi il codice e i collegamenti e ricorda ai modelli di non seguire mai le istruzioni nascoste nel testo degli utenti. Monitora continuamente le promozioni e gli output per comportamenti anomali o violazioni delle politiche per assicurarti che i confini rimangano efficaci nel tempo.

La quarta è il controllo dei costi. Stabilisci budget di token e costi per richiesta e per flusso di lavoro. Registra l’utilizzo dei token per strumento e promozione per intercettare le regressioni precocemente. Senza disciplina, affronterai bollette fuori controllo o picchi di latenza proprio mentre l’adozione cresce.

La quinta è l’assicurazione della qualità. Mantieni un set di valutazione privato di incidenti reali e casi limite. Traccia la precisione, la richiamata e le regressioni. I nuovi modelli ti sorprenderanno, di solito in modi negativi. Per flussi di lavoro critici, utilizza temperature vicine a zero e backend seminati per output coerenti.

La sesta è la governance. Blocca gli accordi di condivisione dei dati prima che qualsiasi informazione fluisca. Chiarisci cosa viene condiviso, come viene protetto e chi è responsabile. Ciò non è solo una copertura legale; è un segnale di fiducia che prendi seriamente i dati.

Perché la maggior parte dei team sbaglia

I progetti di agenti di intelligenza artificiale non producono ritorno sugli investimenti perché i team si concentrano sulle cose sbagliate. Sono ossessionati da quale modello utilizzare mentre ignorano la qualità dei dati. Costruiscono flussi di lavoro complessi mentre saltano i controlli di sicurezza di base. Distribuiscono agenti senza controlli dei costi e poi si agitano quando le bollette schizzano.

Il 5% di successo capisce che gli agenti di intelligenza artificiale non sono solo software; sono una nuova categoria di lavoratore digitale che richiede pratiche di gestione diverse. Hanno bisogno di dati puliti, confini chiari e supervisione costante. Se ottieni questi fondamentali giusti, gli agenti di intelligenza artificiale diventano potenti moltiplicatori di produttività. Se li ottieni sbagliati, ti unisci al 95% che si chiede perché il loro costoso investimento in intelligenza artificiale ha generato zero ritorno misurabile.