Passi Tattici per un PoC di GenAI di Successo

I progetti di Proof of Concept (PoC) sono il terreno di prova per la nuova tecnologia, e l’Intelligenza Artificiale Generativa (GenAI) non fa eccezione. Cosa significa realmente il successo per un PoC di GenAI? In semplici parole, un PoC di successo è quello che si trasferisce senza problemi in produzione. Il problema è che, a causa della novità della tecnologia e della sua rapida evoluzione, la maggior parte dei PoC di GenAI si concentra principalmente sulla fattibilità tecnica e su metriche come l’accuratezza e la richiamata. Questa stretta focalizzazione è una delle principali ragioni per cui i PoC falliscono. Un sondaggio di McKinsey ha scoperto che mentre un quarto dei rispondenti era preoccupato per l’accuratezza, molti hanno lottato altrettanto con la sicurezza, la spiegabilità, la gestione della proprietà intellettuale (IP) e la conformità normativa. Aggiungere problemi comuni come la scarsa qualità dei dati, i limiti di scalabilità e i problemi di integrazione, e è facile capire perché così tanti PoC di GenAI non riescono a procedere.

Oltre l’ipérbole: la realtà dei PoC di GenAI

L’adozione di GenAI è chiaramente in aumento, ma il tasso di successo reale dei PoC rimane incerto. I rapporti offrono statistiche diverse:

• Gartner prevede che entro la fine del 2025, almeno il 30% dei progetti di GenAI sarà abbandonato dopo la fase di PoC, implicando che il 70% potrebbe passare alla produzione.
• Uno studio di Avanade (citato in RTInsights) ha scoperto che il 41% dei progetti di GenAI rimane bloccato nella fase di PoC.
• Il rapporto di Deloitte del gennaio 2025 The State of GenAI in the Enterprise stima che solo il 10-30% dei PoC scalerà alla produzione.
• Una ricerca di IDC (citata in CIO.com) ha scoperto che, in media, solo 5 PoC su 37 (13%) raggiungono la produzione.

Con stime che vanno dal 10% al 70%, il tasso di successo reale è probabilmente più vicino alla fine inferiore. Ciò sottolinea che molte organizzazioni lottano per progettare PoC con un percorso chiaro per la scalabilità. Il basso tasso di successo può prosciugare le risorse, smorzare l’entusiasmo e bloccare l’innovazione, portando a ciò che viene spesso chiamato “stanchezza da PoC”, dove i team si sentono bloccati nell’esecuzione di piloti che non raggiungono mai la produzione.

Superare gli sforzi sprecati

GenAI è ancora nelle prime fasi del suo ciclo di adozione, proprio come il cloud computing e l’AI tradizionale prima di essa. Il cloud computing ha impiegato 15-18 anni per raggiungere un’adozione diffusa, mentre l’AI tradizionale ha avuto bisogno di 8-10 anni ed è ancora in crescita. Storicamente, l’adozione dell’AI ha seguito un ciclo di boom-bust in cui l’eccitazione iniziale porta a aspettative gonfiate, seguite da un rallentamento quando emergono sfide, prima di stabilizzarsi nell’uso mainstream. Se la storia è una guida, l’adozione di GenAI avrà le sue proprie alti e bassi.

Per navigare efficacemente questo ciclo, le organizzazioni devono assicurarsi che ogni PoC sia progettato con la scalabilità in mente, evitando le comuni trappole che portano a sforzi sprecati. Riconoscendo queste sfide, le principali società di tecnologia e consulenza hanno sviluppato framework strutturati per aiutare le organizzazioni a superare l’esperimentazione e a scalare con successo le loro iniziative di GenAI.

L’obiettivo di questo articolo è complementare questi framework e sforzi strategici delineando passi tattici pratici che possono aumentare notevolmente la probabilità che un PoC di GenAI si sposti dal test alla vera impatto nel mondo reale.

Passi Tattici Chiave per un PoC di GenAI di Successo

1. Selezionare un caso d’uso con la produzione in mente

In primo luogo, scegliere un caso d’uso con un percorso chiaro per la produzione. Ciò non significa condurre una valutazione completa di GenAI Readiness a livello aziendale. Invece, valutare ogni caso d’uso individualmente in base a fattori come la qualità dei dati, la scalabilità e i requisiti di integrazione, e dare priorità a quelli con la maggiore probabilità di raggiungere la produzione.

Alcune altre domande chiave da considerare durante la selezione del caso d’uso giusto:

• Il mio PoC si allinea con gli obiettivi aziendali a lungo termine?
• I dati necessari possono essere accessibili e utilizzati legalmente?
• Ci sono rischi chiari che potrebbero impedire la scalabilità?

2. Definire e allineare le metriche di successo prima del kickoff

Una delle principali ragioni per cui i PoC si bloccano è la mancanza di metriche ben definite per misurare il successo. Senza un forte allineamento sugli obiettivi e le aspettative di ROI, anche i PoC tecnicamente validi possono lottare per ottenere il buy-in per la produzione. Stimare il ROI non è facile, ma ecco alcune raccomandazioni:

• Sviluppare o adottare un framework come questo.
• Utilizzare calcolatori di costi, come questo strumento di pricing di OpenAI API e calcolatori di provider cloud per stimare le spese.
• Sviluppare una stima di ROI basata su un intervallo con probabilità per tenere conto dell’incertezza.

Ecco un esempio di come il team di QueryGPT di Uber ha stimato il potenziale impatto del loro strumento di GenAI text-to-SQL.

3. Abilitare l’esperimentazione rapida

La costruzione di app di GenAI è tutto sull’esperimentazione che richiede un’iterazione costante. Quando si seleziona il proprio stack tecnologico, l’architettura, il team e i processi, assicurarsi che supportino questo approccio iterativo. Le scelte dovrebbero consentire un’esperimentazione senza soluzione di continuità, dalla generazione di ipotesi e dall’esecuzione di test alla raccolta di dati, all’analisi dei risultati, all’apprendimento e al perfezionamento.

• Considerare l’assunzione di fornitori di servizi di piccole e medie dimensioni per accelerare l’esperimentazione.
• Scegliere benchmark, valutazioni e framework di valutazione all’inizio, assicurandosi che si allineino con il caso d’uso e gli obiettivi.
• Utilizzare tecniche come LLM-as-a-judge o LLM-as-Juries per automatizzare (semi-automatizzare) la valutazione.

4. Mirare a soluzioni a bassa frizione

Una soluzione a bassa frizione richiede meno approvazioni e quindi, incontra meno o nessuna obiezione all’adozione e alla scalabilità. La rapida crescita di GenAI ha portato a un’esplosione di strumenti, framework e piattaforme progettati per accelerare i PoC e i deploy di produzione. Tuttavia, molte di queste soluzioni operano come scatole nere che richiedono una rigorosa verifica da parte dei team IT, legali, di sicurezza e di gestione dei rischi. Per affrontare queste sfide e semplificare il processo, considerare le seguenti raccomandazioni per la costruzione di una soluzione a bassa frizione:

• Creare una roadmap dedicata per le approvazioni: considerare la creazione di una roadmap dedicata per affrontare le preoccupazioni dei team di partner e ottenere approvazioni.
• Utilizzare stack tecnologici pre-approvati: quando possibile, utilizzare stack tecnologici già approvati e in uso per evitare ritardi nell’approvazione e nell’integrazione.
• Concentrarsi sugli strumenti essenziali: i primi PoC di solito non richiedono il fine-tuning del modello, loop di feedback automatizzati o un’osservabilità/SRE estensiva. Invece, dare priorità agli strumenti per attività di base come la vettorizzazione, gli embedding, il recupero delle conoscenze, le barriere di protezione e lo sviluppo dell’interfaccia utente.
• Utilizzare strumenti low-code/no-code con cautela: sebbene questi strumenti possano accelerare i tempi, la loro natura di scatola nera limita la personalizzazione e le capacità di integrazione. Utilizzarli con cautela e considerare le loro implicazioni a lungo termine.
• Affrontare le preoccupazioni di sicurezza in anticipo: implementare tecniche come la generazione di dati sintetici, la maschera dei dati PII e la crittografia per affrontare le preoccupazioni di sicurezza in modo proattivo.

5. Assemblare un team agile e imprenditoriale

Come per qualsiasi progetto, avere il team giusto con le competenze essenziali è cruciale per il successo. Oltre alla competenza tecnica, il team deve anche essere agile e imprenditoriale.

• Considerare l’inclusione di manager di prodotto e di esperti di materia (SME) per assicurarsi di risolvere il problema giusto.
• Assicurarsi di avere sia sviluppatori full-stack che ingegneri di apprendimento automatico nel team.
• Evitare di assumere specificamente per il PoC o di prendere in prestito risorse interne da progetti a lungo termine di alta priorità. Invece, considerare l’assunzione di fornitori di servizi di piccole e medie dimensioni che possano portare il talento giusto rapidamente.
• Incorporare partner da legali e sicurezza fin dal primo giorno.

6. Dare priorità anche ai requisiti non funzionali

Per un PoC di successo, è cruciale stabilire confini di problema chiari e un set fisso di requisiti funzionali. Tuttavia, i requisiti non funzionali non devono essere trascurati. Sebbene il PoC debba rimanere focalizzato all’interno dei confini del problema, la sua architettura deve essere progettata per un alto rendimento. Più specificamente, raggiungere una latenza di millisecondi potrebbe non essere una necessità immediata, tuttavia, il PoC dovrebbe essere in grado di scalare senza problemi man mano che gli utenti beta si espandono. Optare per un’architettura modulare che rimanga flessibile e agnostica rispetto agli strumenti.

7. Sviluppare un piano per gestire le allucinazioni

Le allucinazioni sono inevitabili con i modelli linguistici. Pertanto, le barriere di protezione sono critiche per scalare le soluzioni di GenAI in modo responsabile. Tuttavia, valutare se le barriere di protezione automatizzate sono necessarie durante la fase di PoC e in che misura. Invece di ignorare o sovra-ingegnerizzare le barriere di protezione, rilevare quando i modelli hanno allucinazioni e segnalarle agli utenti del PoC.

8. Adottare le migliori pratiche di gestione del prodotto e del progetto

Questa illustrazione di XKCD si applica ai PoC proprio come si applica alla produzione. Non esiste un playbook universale. Tuttavia, adottare le migliori pratiche della gestione del progetto e del prodotto può aiutare a semplificare e raggiungere il progresso.

• Utilizzare metodi kanban o agile per la pianificazione e l’esecuzione tattica.
• Documentare tutto.
• Tenere gli scrum-of-scrum per collaborare efficacemente con i team di partner.
• Tenere informati gli stakeholder e la leadership sui progressi.

Conclusione

Eseguire un PoC di GenAI di successo non è solo questione di provare la fattibilità tecnica, ma di valutare le scelte fondamentali per il lungo termine. Scegliendo attentamente il caso d’uso giusto, allineando le metriche di successo, abilitando l’esperimentazione rapida, minimizzando la frizione, assemblando il team giusto, affrontando sia i requisiti funzionali che quelli non funzionali e pianificando le sfide come le allucinazioni, le organizzazioni possono migliorare notevolmente le loro possibilità di spostarsi dal PoC alla produzione.

Detto questo, i passi delineati sopra non sono esaustivi e non ogni raccomandazione si applicherà a ogni caso d’uso. Ogni PoC è unico e la chiave del successo è adattare queste migliori pratiche per adattarsi agli specifici obiettivi aziendali, vincoli tecnici e paesaggio normativo.

Una visione e una strategia forti sono essenziali per l’adozione di GenAI, ma senza i passi tattici giusti, anche i piani migliori possono bloccarsi nella fase di PoC. L’esecuzione è dove le grandi idee hanno successo o falliscono e avere un approccio chiaro e strutturato garantisce che l’innovazione si traduca in un impatto reale nel mondo.