Passaggi tattici per un PoC di GenAI di successo

I progetti di Proof of Concept (PoC) sono il terreno di prova per la nuova tecnologia e il Generative AI (GenAI) non fa eccezione. Cosa significa realmente il successo per un PoC di GenAI? In semplici parole, un PoC di successo è quello che transita senza problemi alla produzione. Il problema è che, a causa della novità della tecnologia e della sua rapida evoluzione, la maggior parte dei PoC di GenAI si concentra principalmente sulla fattibilità tecnica e su metriche come l’accuratezza e la recall. Questa stretta focalizzazione è una delle principali ragioni per cui i PoC falliscono. Un sondaggio di McKinsey ha scoperto che, mentre un quarto dei rispondenti era preoccupato per l’accuratezza, molti hanno lottato altrettanto con la sicurezza, la spiegabilità, la gestione della proprietà intellettuale (IP) e la conformità normativa. Aggiungere problemi comuni come la scarsa qualità dei dati, i limiti di scalabilità e i problemi di integrazione, e è facile capire perché così tanti PoC di GenAI non riescono a proseguire.

Oltre l’ipér: la realtà dei PoC di GenAI

L’adozione di GenAI è chiaramente in aumento, ma il tasso di successo reale dei PoC rimane incerto. I rapporti offrono statistiche variabili:

• Gartner prevede che, entro la fine del 2025, almeno il 30% dei progetti di GenAI sarà abbandonato dopo la fase di PoC, il che implica che il 70% potrebbe entrare in produzione.
• Uno studio di Avanade (citato in RTInsights) ha scoperto che il 41% dei progetti di GenAI rimane bloccato nella fase di PoC.
• Il rapporto di Deloitte del gennaio 2025 The State of GenAI in the Enterprise stima che solo il 10-30% dei PoC scalerà alla produzione.
• Una ricerca di IDC (citata in CIO.com) ha scoperto che, in media, solo 5 PoC su 37 (13%) raggiungono la produzione.

Con stime che vanno dal 10% al 70%, il tasso di successo reale è probabilmente più vicino alla fine inferiore. Ciò sottolinea che molte organizzazioni lottano per progettare PoC con un percorso chiaro per la scalabilità. Il basso tasso di successo può prosciugare le risorse, smorzare l’entusiasmo e bloccare l’innovazione, portando a ciò che viene spesso chiamato “stanchezza del PoC”, dove i team si sentono bloccati nell’esecuzione di piloti che non raggiungono mai la produzione.

Superare gli sforzi sprecati

Il GenAI è ancora nelle prime fasi del suo ciclo di adozione, come il cloud computing e l’AI tradizionale prima di lui. Il cloud computing ha impiegato 15-18 anni per raggiungere un’adozione diffusa, mentre l’AI tradizionale ha avuto bisogno di 8-10 anni ed è ancora in crescita. Storicamente, l’adozione dell’AI ha seguito un ciclo di boom-bust in cui l’eccitazione iniziale porta a aspettative gonfiate, seguite da un rallentamento quando emergono sfide, prima di stabilizzarsi nell’uso mainstream. Se la storia è una guida, l’adozione di GenAI avrà le sue alti e bassi.

Per navigare efficacemente questo ciclo, le organizzazioni devono assicurarsi che ogni PoC sia progettato con la scalabilità in mente, evitando le comuni trappole che portano a sforzi sprecati. Riconoscendo queste sfide, le principali aziende tecnologiche e di consulenza hanno sviluppato framework strutturati per aiutare le organizzazioni a superare l’esperimentazione e a scalare con successo le loro iniziative di GenAI.

L’obiettivo di questo articolo è complementare questi framework e sforzi strategici delineando passaggi tattici pratici che possono aumentare notevolmente la probabilità che un PoC di GenAI si sposti dalla fase di test alla fase di impatto reale.

Passaggi tattici chiave per un PoC di GenAI di successo

1. Selezionare un caso d’uso con la produzione in mente

Innanzitutto, scegliere un caso d’uso con un percorso chiaro per la produzione. Ciò non significa condurre una valutazione completa della prontezza di GenAI a livello aziendale. Invece, valutare ogni caso d’uso individualmente in base a fattori come la qualità dei dati, la scalabilità e i requisiti di integrazione, e dare priorità a quelli con la maggiore probabilità di raggiungere la produzione.

Alcune altre domande chiave da considerare durante la selezione del caso d’uso giusto:

• Il mio PoC si allinea con gli obiettivi aziendali a lungo termine?
• I dati richiesti possono essere accessibili e utilizzati legalmente?
• Ci sono rischi chiari che impediranno la scalabilità?

2. Definire e allineare le metriche di successo prima del kickoff

Una delle principali ragioni per cui i PoC si bloccano è la mancanza di metriche ben definite per misurare il successo. Senza un forte allineamento sugli obiettivi e le aspettative di ROI, anche i PoC tecnicamente validi possono lottare per ottenere il consenso per la produzione. Stimare il ROI non è facile, ma ecco alcune raccomandazioni:

• Creare o adottare un framework come questo.
• Utilizzare calcolatori di costi, come questo strumento di prezzo API OpenAI e calcolatori di provider cloud per stimare le spese.
• Sviluppare una stima di ROI basata su un intervallo con probabilità per tenere conto dell’incertezza.

Ecco un esempio di come il team di QueryGPT di Uber ha stimato il potenziale impatto del loro strumento di GenAI testo-SQL.

3. Abilitare la sperimentazione rapida

La costruzione di app di GenAI è tutto sull’esperimentazione e richiede una costante iterazione. Quando si seleziona il proprio stack tecnologico, l’architettura, il team e i processi, assicurarsi che supportino questo approccio iterativo. Le scelte devono consentire una sperimentazione senza soluzione di continuità, dalla generazione di ipotesi e dall’esecuzione di test alla raccolta di dati, all’analisi dei risultati, all’apprendimento e al perfezionamento.

• Considerare l’assunzione di fornitori di servizi di piccole e medie dimensioni per accelerare la sperimentazione.
• Scegliere benchmark, valutazioni e framework di valutazione all’inizio, assicurandosi che si allineino con il caso d’uso e gli obiettivi.
• Utilizzare tecniche come LLM-as-a-judge o LLM-as-Juries per automatizzare (semi-automatizzare) la valutazione.

4. Mirare a soluzioni a bassa frizione

Una soluzione a bassa frizione richiede meno approvazioni e quindi affronta meno o nessuna obiezione all’adozione e alla scalabilità. La rapida crescita di GenAI ha portato a un’esplosione di strumenti, framework e piattaforme progettate per accelerare i PoC e i deploy di produzione. Tuttavia, molte di queste soluzioni operano come scatole nere che richiedono una rigorosa verifica da parte dei team IT, legali, di sicurezza e di gestione dei rischi. Per affrontare queste sfide e semplificare il processo, considerare le seguenti raccomandazioni per la costruzione di una soluzione a bassa frizione:

• Creare una roadmap dedicata per le approvazioni: considerare la creazione di una roadmap dedicata per affrontare le preoccupazioni dei team partner e ottenere le approvazioni.
• Utilizzare stack tecnologici preapprovati: quando possibile, utilizzare stack tecnologici già approvati e in uso per evitare ritardi nell’approvazione e nell’integrazione.
• Concentrarsi sugli strumenti essenziali: i primi PoC non richiedono generalmente il fine-tuning del modello, loop di feedback automatizzati o estensiva osservabilità/SRE. Invece, dare priorità agli strumenti per attività core come la vettorizzazione, gli embedding, il recupero delle conoscenze, le barriere di protezione e lo sviluppo dell’interfaccia utente.
• Utilizzare strumenti low-code/no-code con cautela: sebbene questi strumenti possano accelerare i tempi, la loro natura di scatola nera limita la personalizzazione e le capacità di integrazione. Utilizzarli con cautela e considerare le loro implicazioni a lungo termine.
• Affrontare le preoccupazioni di sicurezza in anticipo: implementare tecniche come la generazione di dati sintetici, la maschera dei dati PII e la crittografia per affrontare le preoccupazioni di sicurezza in modo proattivo.

5. Assemblare un team agile e imprenditoriale

Come per qualsiasi progetto, avere il team giusto con le competenze essenziali è fondamentale per il successo. Oltre all’esperienza tecnica, il team deve anche essere agile e imprenditoriale.

• Considerare l’inclusione di product manager e esperti del settore (SME) per assicurarsi di risolvere il problema giusto.
• Assicurarsi di avere sia sviluppatori full-stack che ingegneri di apprendimento automatico nel team.
• Evitare di assumere specificamente per il PoC o di prendere in prestito risorse interne da progetti a lungo termine e ad alta priorità. Invece, considerare l’assunzione di fornitori di servizi di piccole e medie dimensioni che possano portare il talento giusto rapidamente.
• Incorporare partner da legal e sicurezza fin dal primo giorno.

6. Dare priorità anche ai requisiti non funzionali

Per un PoC di successo, è cruciale stabilire confini di problema chiari e un set fisso di requisiti funzionali. Tuttavia, i requisiti non funzionali non devono essere trascurati. Sebbene il PoC debba rimanere focalizzato all’interno dei confini del problema, la sua architettura deve essere progettata per alte prestazioni. In particolare, raggiungere una latenza di millisecondi potrebbe non essere una necessità immediata, tuttavia, il PoC dovrebbe essere in grado di scalare senza problemi man mano che gli utenti beta si espandono. Optare per un’architettura modulare che rimanga flessibile e agnostica per gli strumenti.

7. Sviluppare un piano per gestire le allucinazioni

Le allucinazioni sono inevitabili con i modelli linguistici. Pertanto, le barriere di protezione sono fondamentali per scalare le soluzioni di GenAI in modo responsabile. Tuttavia, valutare se le barriere di protezione automatizzate sono necessarie durante la fase di PoC e in che misura. Invece di ignorare o sovra-ingegnerizzare le barriere di protezione, rilevare quando i modelli allucinano e segnalarli agli utenti del PoC.

8. Adottare le migliori pratiche di gestione del prodotto e del progetto

Questa illustrazione di XKCD si applica ai PoC proprio come si applica alla produzione. Non esiste un approccio universale. Tuttavia, adottare le migliori pratiche dalla gestione del progetto e del prodotto può aiutare a semplificare e raggiungere il progresso.

• Utilizzare metodi kanban o agile per la pianificazione tattica e l’esecuzione.
• Documentare tutto.
• Tenere uno scrum-of-scrum per collaborare efficacemente con i team partner.
• Tenere informati gli stakeholder e la leadership sui progressi.

Conclusione

Eseguire un PoC di GenAI di successo non è solo questione di provare la fattibilità tecnica, ma di valutare le scelte fondamentali per il lungo termine. Scegliendo attentamente il caso d’uso giusto, allineando le metriche di successo, abilitando la sperimentazione rapida, minimizzando la frizione, assemblando il team giusto, affrontando sia i requisiti funzionali che quelli non funzionali e pianificando le sfide come le allucinazioni, le organizzazioni possono migliorare notevolmente le loro possibilità di spostarsi dal PoC alla produzione.

Detto ciò, i passaggi delineati sopra non sono esaustivi e non tutte le raccomandazioni si applicheranno a ogni caso d’uso. Ogni PoC è unico e la chiave del successo è adattare queste migliori pratiche per adattarsi agli obiettivi aziendali specifici, alle limitazioni tecniche e al panorama normativo.

Una visione e una strategia solide sono essenziali per l’adozione di GenAI, ma senza i passaggi tattici giusti, anche i piani più ben congegnati possono bloccarsi nella fase di PoC. L’esecuzione è dove le grandi idee possono avere successo o fallire e avere un approccio chiaro e strutturato garantisce che l’innovazione si traduca in un impatto reale nel mondo.