Nikunj Bajaj, cofondatore e amministratore delegato di TrueFoundry – Serie di interviste

Prima di fondare TrueFoundry, ha lavorato nella ricerca sull’apprendimento automatico, nell’IA in produzione presso Facebook (META ) e nei sistemi di raccomandazione su larga scala. Quali esperienze l’hanno spinta più direttamente a creare un’azienda di infrastrutture di IA per le imprese e quale problema le sembrava ancora irrisolto all’epoca?

In Meta consideravamo l’apprendimento automatico un caso particolare del software e l’IA generativa un caso particolare dell’apprendimento automatico. Ne risultava uno stack verticale con il software alla base, l’apprendimento automatico al centro e l’IA generativa in cima. In questo assetto, se sono uno sviluppatore di apprendimento automatico, i modelli che realizzo seguono lo stesso schema di implementazione del resto del software, rendendo molto semplice scalare i sistemi.

La maggior parte delle imprese, invece, implementava stack paralleli, cioè stack separati per software, apprendimento automatico e IA generativa. Con questi stack paralleli, la scalabilità diventa più complessa a causa dei passaggi di consegne necessari tra il mondo dell’apprendimento automatico e quello del software.

Il nostro team ha sempre lavorato al punto d’incontro tra sviluppo dei modelli di apprendimento automatico e relativa infrastruttura. Questa prospettiva peculiare ci ha fatto capire che potevamo portare stack verticali simili nelle imprese e adattarli alle loro esigenze specifiche. Verso la fine del 2021 avevamo inoltre formulato l’ipotesi che l’apprendimento automatico si stesse avvicinando a un punto di svolta: una volta raggiunto, più aziende avrebbero avuto bisogno di uno stack integrato verticalmente per implementare e scalare questi sistemi in modo efficace. È questo che ci ha portato a fondare TrueFoundry, e la nostra ipotesi si è rivelata corretta. L’adozione dell’IA ha accelerato dopo il lancio di ChatGPT alla fine del 2022.

Con il passaggio dei sistemi di IA dalla sperimentazione alle attività quotidiane, che cosa è cambiato nel modo in cui le organizzazioni dovrebbero considerare l’affidabilità e i guasti?

Con l’IA generativa la posta in gioco è molto più alta rispetto ai sistemi tradizionali di apprendimento automatico. Quando questi sistemi entrano in produzione, le organizzazioni devono affrontare livelli molto più elevati di ambiguità e non determinismo, perché gli LLM sono stocastici per natura. I sistemi ad agenti costruiti su di essi aggiungono ulteriore ambiguità.

Inoltre, i guasti non sono più binari. Anziché avere sistemi che semplicemente funzionano oppure no, molti problemi si manifestano come guasti parziali o deterioramenti silenziosi. Nel tempo, i sistemi possono rispondere con maggiore latenza, qualità inferiore o comportamenti errati. In molti casi questi deterioramenti possono essere più difficili da rilevare e talvolta persino più dannosi di un’interruzione completa.

Le organizzazioni devono considerare l’affidabilità non soltanto in termini di tempo di disponibilità, ma anche di deterioramento delle prestazioni nel tempo.

TrueFailover è stato lanciato durante un’ondata di interruzioni dei servizi cloud e di IA che hanno avuto grande risonanza. Quali eventi recenti hanno chiarito che l’affidabilità dell’IA era passata da elemento auspicabile a requisito architettonico fondamentale?

Uno dei nostri clienti nel settore sanitario elabora in tempo reale richieste dei pazienti relative alle prescrizioni, per le quali la tempestività è essenziale. Ha subito un’interruzione dovuta a un guasto del modello. I suoi flussi di lavoro generano migliaia di dollari di ricavi al secondo, e l’interruzione ha compromesso alcuni di questi flussi critici. Si trattava di uno dei primi clienti di TrueFailover, perciò abbiamo potuto aiutarlo a ripristinare rapidamente il funzionamento e contenere l’impatto.

Incidenti di questo tipo sollevano una domanda importante: se la posta in gioco dei sistemi di IA generativa continua a crescere, perché i processi di ripristino sono ancora in gran parte manuali? Questo ha rafforzato l’idea che i sistemi vadano costruiti presupponendo che i guasti si verificheranno e progettati per correggersi automaticamente. L’affidabilità deve inoltre essere integrata nello stesso stack di IA tramite gateway IA, che possono offrire instradamento centralizzato, osservabilità, meccanismi di protezione e passaggio intelligente tra modelli di diversi fornitori.

Molte interruzioni dell’IA vengono ancora descritte come piccoli inconvenienti tecnici. Dove vede cominciare a emergere i veri costi economici e umani quando i sistemi di IA smettono di funzionare?

L’IA nelle imprese si è evoluta al punto che questi inconvenienti non riguardano più soltanto i flussi di lavoro interni. Oggi interruzioni e deterioramenti incidono direttamente e immediatamente sulla percezione pubblica e sui profitti, perché i casi d’uso in produzione sono rivolti ai clienti. Questo passaggio dai test interni ad applicazioni rivolte al pubblico, in cui la posta in gioco è elevata, spiega la crescente richiesta di attenzione e supervisione da parte dei vertici aziendali.

Man mano che i sistemi di IA si integrano più profondamente nei flussi operativi, le interruzioni non sono più soltanto problemi tecnici. Hanno sempre più spesso conseguenze dirette per l’attività aziendale, i clienti e la reputazione.

In contesti critici per l’erogazione dei servizi, come farmacie, attività sanitarie o assistenza clienti, quanto rapidamente un fermo dell’IA può trasformarsi in un rischio operativo o reputazionale?

Nei contesti critici, l’escalation è quasi immediata perché questi sistemi supportano flussi di lavoro in tempo reale per i quali la tempestività è essenziale. Anche una breve interruzione può bloccare processi fondamentali, ritardare l’erogazione dei servizi o interrompere i sistemi a valle che dipendono da quei risultati, generando effetti operativi a cascata in tutta l’organizzazione.

In settori come la sanità, l’impatto va oltre l’interruzione operativa e riguarda anche l’esperienza del cliente e i risultati dei servizi. Se un paziente non può ritirare in tempo i farmaci prescritti, le conseguenze possono essere concrete. Oltre a creare un problema per il paziente, questo può danneggiare la reputazione della farmacia o della struttura sanitaria. Nei contesti critici in cui conta la fiducia, è essenziale che i sistemi restino operativi. Per questo le organizzazioni riconoscono sempre più che i sistemi di IA devono essere progettati presupponendo che i guasti si verificheranno e che i meccanismi di ripristino debbano attivarsi automaticamente per ridurre al minimo il rischio.

Ha detto che molti team progettano l’architettura pensando alle capacità anziché alla continuità. Perché ritiene che storicamente la resilienza abbia avuto una priorità inferiore nella progettazione dei sistemi di IA?

Questo dipende soprattutto dagli incentivi interni alle organizzazioni. Le nuove capacità sono visibili e suscitano entusiasmo. Rendono possibili dimostrazioni, funzionalità e nuove prospettive per il prodotto che i dirigenti possono cogliere immediatamente.

La continuità, per definizione, è invisibile quando tutto funziona bene. Per questo i sistemi di incentivazione tendono a premiare il rilascio di nuove funzionalità più della garanzia che nulla si guasti. Di conseguenza, le organizzazioni investono spesso in misura sproporzionata nello sviluppo delle capacità rispetto all’ingegneria della resilienza.

Con la crescente dipendenza delle imprese da modelli e API esterni, quali nuove fragilità vengono introdotte nello stack di IA che i dirigenti potrebbero non comprendere ancora appieno?

Gli LLM sono fondamentalmente risorse condivise, e le imprese non li possiedono come possiedono l’infrastruttura tradizionale. Inoltre, importanti sistemi aziendali critici funzionano su sistemi esterni che non sono ancora stati pienamente collaudati nel tempo. Gli stessi LLM si evolvono rapidamente: ciò significa che non si può ritenere il fornitore di un modello responsabile di aspetti come la latenza o un lieve calo delle prestazioni, perché procede molto rapidamente con le iterazioni della propria ricerca.

Poiché gli LLM sono risorse condivise, la latenza può aumentare bruscamente se un altro loro utilizzatore compie una determinata azione. La natura stessa degli LLM introduce molti di questi punti di guasto, e in questo nuovo scenario le imprese semplicemente non hanno il pieno controllo. Senza pieno controllo, la cosa migliore che un’impresa possa fare è creare ridondanze sufficienti a progettare un sistema resiliente.

Senza concentrarsi su prodotti specifici, come dovrebbero le organizzazioni ripensare l’architettura dell’IA per mettere in conto i guasti, anziché trattare le interruzioni come rari casi limite?

Le organizzazioni dovrebbero tornare ai principi fondamentali della progettazione dei sistemi distribuiti. I sistemi software sono stati costruiti presupponendo che i componenti di rete e le macchine si sarebbero guastati e che un’intera regione avrebbe potuto smettere di funzionare.

I sistemi di IA non dovrebbero essere diversi. Dovremmo presumere che i fornitori di modelli avranno problemi di latenza, deterioramenti o interruzioni e integrare ridondanze affinché le applicazioni restino resilienti nei diversi scenari di guasto.

Si aspetta che la resilienza dell’IA diventi un fattore decisivo nella scelta di piattaforme e fornitori, come il tempo di disponibilità e la ridondanza hanno influenzato le decisioni sull’infrastruttura cloud?

Con l’ingresso in produzione di un numero crescente di sistemi di IA, la resilienza diventerà un requisito minimo. Se un fornitore non è in grado di mostrare grafici e metriche sul tempo di disponibilità e sulla resilienza complessiva, non verrà neppure preso in considerazione. Quando la resilienza sarà un’aspettativa di base per tutti i fornitori, i fattori decisivi diventeranno l’esperienza utente, l’ottimizzazione delle prestazioni, l’osservabilità e le capacità del prodotto di livello superiore. Nel tempo, componenti come un gateway IA e le funzioni di failover automatico diventeranno elementi fondanti dell’infrastruttura di IA aziendale.

Guardando al futuro, che cosa significa davvero IA “pronta per la produzione” in un mondo in cui ci si aspetta che sia continuamente disponibile, anziché soltanto utile di tanto in tanto?

I sistemi di IA pronti per la produzione dovrebbero essere osservabili, controllabili e ripristinabili. Tutti e tre questi requisiti devono essere soddisfatti.

Per rendere osservabile l’IA in produzione, i team hanno bisogno di una visibilità approfondita sul comportamento dei modelli, sulla latenza, sui tassi di errore, sul consumo di token, sulla deriva e sugli schemi di guasto. Senza una solida osservabilità, diventa molto difficile rilevare i deterioramenti prima che comincino ad accorgersene gli utenti.

La controllabilità dei sistemi comprende la regolazione del traffico, la limitazione della frequenza delle richieste, i meccanismi di protezione, l’applicazione delle politiche e l’instradamento intelligente tra modelli e fornitori. Qui un gateway IA diventa fondamentale: agisce come piano di controllo centralizzato che applica le protezioni, assicura una governance coerente e consente il passaggio dinamico tra modelli quando le prestazioni o l’affidabilità diminuiscono.

Infine, per essere ripristinabili, i sistemi dovrebbero essere costruiti presupponendo che i componenti possano essere parzialmente o completamente fuori uso, a causa di interruzioni presso i fornitori, deterioramento della qualità dei modelli, limiti alla frequenza delle richieste o input imprevisti da parte di soggetti malintenzionati. Il failover automatico e i meccanismi di autoriparazione dovrebbero essere parte integrante dell’architettura, anziché procedure manuali attivate dopo che si è verificato un problema.

È questa la direzione in cui stiamo lavorando in TrueFoundry. I fornitori che definiscono così la prontezza per la produzione, combinando osservabilità, controllo centralizzato e ripristino automatico, conquisteranno la fiducia dei clienti nel lungo periodo e potranno continuare a risolvere i nuovi problemi man mano che emergeranno.

Grazie per l’ottima intervista. I lettori che desiderano saperne di più possono visitare TrueFoundry.