Perché l’Intelligenza Artificiale Aziendale Sta Fallendo alla Linea del Traguardo — e Come Risolvere il Problema

Nonostante l’interesse per l’Intelligenza Artificiale, la maggior parte dei progetti di Intelligenza Artificiale aziendale non supera la fase sperimentale. Secondo recenti ricerche dell’IDC, l’88% dei progetti di prova di concetto (POC) di Intelligenza Artificiale non riesce a scalare fino alla produzione completa. Questo è un calo enorme e un chiaro segno che qualcosa non funziona. Molti di questi progetti si avvicinano alla linea del traguardo, con un modello addestrato che soddisfa i benchmark stabiliti dal team, e poi finiscono per non essere lanciati o adottati dagli utenti finali.

Cosa sta andando storto? In molti casi, si tratta di tre grandi problemi:

1. Le squadre di Intelligenza Artificiale aziendale si affidano a strumenti di diagnostica e benchmark superficiali che non individuano le lacune di prestazione chiave
2. I modelli sono addestrati a benchmark standard invece di risolvere problemi del mondo reale
3. Il costo di scalare l’utilizzo del modello si rivela troppo alto per l’adozione a livello aziendale

In questo articolo, analizzeremo ognuno di questi ostacoli e cosa serve per far superare ai progetti di Intelligenza Artificiale la linea del traguardo e arrivare nelle mani degli utenti su larga scala.

Problema #1: Diagnostica standard che non individua le lacune di prestazione chiave

Una delle principali ragioni per cui i progetti di Intelligenza Artificiale inciampano dopo la fase di prova di concetto è che le diagnostica e i benchmark interni spesso non analizzano a fondo le prestazioni del modello e tendono a non individuare i problemi che possono compromettere l’usabilità, la fiducia e l’adozione. Le squadre potrebbero spuntare tutte le caselle sui fogli di calcolo, ma quei controlli non sempre riflettono come il modello si comporterà nel mondo reale.

Prendiamo questo esempio: un team di Intelligenza Artificiale aveva un modello che superava tutti i test interni con ottimi risultati. Aveva raggiunto tutti i parametri di accuratezza e sicurezza, e stavano preparando il lancio. Tuttavia, quando fecero valutare il modello da un terzo per il loro caso d’uso specifico, in modo da simulare come gli utenti reali avrebbero interagito con il sistema, scoprirono un grande punto cieco. Il modello era nove volte più propenso a fornire risposte evasive quando venivano poste domande in un certo modo. Ad esempio, rispondeva correttamente a “Chi è il presidente degli Stati Uniti?” ma trattava “Puoi dirmi qualcosa sul presidente?” come un rischio per la sicurezza e si rifiutava di rispondere.

Il problema non stava nella conoscenza di base del modello, ma nel modo in cui interpretava l’intento in base alla formulazione. Il team aveva ottimizzato la sicurezza al punto da bloccare involontariamente domande normali e ragionevoli.

Problema #2: Modelli addestrati a benchmark che non riflettono il mondo reale

Un altro ostacolo comune per l’Intelligenza Artificiale aziendale è che i team di Intelligenza Artificiale addestrano i modelli per soddisfare i benchmark standard dell’industria invece di rispondere a esigenze del mondo reale. Sui fogli di calcolo, un modello potrebbe sembrare di alto livello, ottenendo punteggi alti nelle valutazioni standard per accuratezza, rilevanza o sicurezza. Tuttavia, nella pratica, potrebbe faticare a fornire risultati consistenti e utili senza un intervento significativo dell’utente.

Questo accade quando i team ottimizzano i modelli per eseguire bene compiti specifici e ristretti. Il modello finisce per eccellere in quei casi di test, ma vacilla quando incontra input del mondo reale meno strutturati e più vari. Di conseguenza, gli utenti devono “parlare il linguaggio del modello” attraverso l’ingegneria delle promt per ottenere le risposte giuste. Se il vostro prodotto di Intelligenza Artificiale dipende dall’utente che crea promt precise, avete introdotto attriti che rallentano l’adozione e minano la sua utilità.

Questo tipo di addestramento focalizzato sui benchmark può anche portare a overfitting. Il modello diventa così fine-tuned per eseguire bene sui set di dati di valutazione che perde generalizzabilità. Potrebbe superare ogni test interno eppure risultare insufficiente quando viene distribuito nel mondo reale, specialmente se i casi d’uso reali differiscono anche solo leggermente da quelli per cui è stato addestrato.

Se desiderate una soluzione di Intelligenza Artificiale aziendale che abbia successo, il vostro modello deve funzionare nel mondo reale, non solo in laboratorio.

Problema #3: Scalare l’adozione di Intelligenza Artificiale significa scalare i costi di calcolo

Il terzo motivo per cui molti progetti di prova di concetto di Intelligenza Artificiale non riescono a scalare è di natura finanziaria: i team spesso sottovalutano il costo di esecuzione e manutenzione del modello in produzione. Durante lo sviluppo, è facile trascurare le richieste di calcolo di un modello di grandi dimensioni, specialmente quando i test sono eseguiti su piccoli set di dati o in ambienti di utilizzo limitato. Tuttavia, una volta distribuito, quei costi possono lievitare.

L’Intelligenza Artificiale di livello aziendale richiede risorse computazionali significative, non solo per servire risposte in tempo reale, ma anche per il continuo affinamento, monitoraggio, logging e riaddestramento. Se questi costi non vengono considerati fin dall’inizio, il caso d’uso aziendale per la soluzione può crollare non appena inizia l’utilizzo nel mondo reale. Ciò che sembrava un modello promettente in un ambiente di test controllato può rapidamente diventare insostenibile quando migliaia di utenti iniziano a utilizzare il sistema quotidianamente.

Superare gli ostacoli dell’ultima fase per un’Intelligenza Artificiale aziendale di successo

Per evitare le insidie comuni che mettono fuori strada così tanti progetti di Intelligenza Artificiale aziendale, i team devono andare oltre il solito copione. Ecco come il vostro team di Intelligenza Artificiale può costruire qualcosa che funzioni veramente e si scalabilizzi.

Primo, portate un terzo a valutare il vostro modello. La valutazione interna è importante, ma spesso è troppo generica. Un nuovo punto di vista, abbinato a un framework di valutazione personalizzato per il vostro caso d’uso, può far emergere problemi che il vostro team potrebbe non notare, specialmente quando si tratta di come gli utenti reali interagiranno effettivamente con il sistema.

Secondo, assicuratevi di testare con promt del mondo reale. La maggior parte dei benchmark testa su “dati puliti” che non riflettono il mondo reale, per non parlare di come i vostri utenti finali specifici interagiranno con il modello. Testare il modello con input confusi, vaghi o formulati in modo strano vi aiuterà a capire come il modello si comporterà realmente dopo la distribuzione e vi permetterà di individuare problemi che altrimenti potrebbero sfuggire e influire sull’adozione.

Terzo, rivedete i vostri protocolli di sicurezza. È facile esagerare con le protezioni, e sebbene la sicurezza sia importante, non dovrebbe rendere il modello frustrante da usare. Se il modello si blocca su domande semplici e innocue, state scambiando l’usabilità per una falsa sensazione di sicurezza.

Infine, tenete d’occhio i costi di calcolo. Se i vostri obiettivi di adozione includono migliaia di utenti e milioni di richieste, quelle spese possono aumentare rapidamente. Una soluzione è considerare modelli più piccoli. Boosted.ai ha fatto proprio questo — sono passati a un modello di linguaggio personalizzato più piccolo e hanno ridotto i costi di calcolo del 90% migliorando allo stesso tempo la velocità e le prestazioni. Risultati in tempo reale, migliore esperienza utente e nessun bisogno di hardware costoso.

Affrontando la valutazione, l’usabilità e la scalabilità fin dall’inizio, i team possono dare al loro progetto di Intelligenza Artificiale una vera possibilità di successo a lungo termine. Non si tratta solo di farlo funzionare in laboratorio — si tratta di farlo funzionare nel mondo.