Rowan Stewart, Sr. Direttore del Prodotto, AI Safety & Piattaforma presso Transcend – Serie di Interviste

Rowan Stewart, Sr. Direttore del Prodotto, AI Safety & Piattaforma presso Transcend, guida le iniziative di prodotto volte ad aiutare le organizzazioni a scoprire, gestire e utilizzare in modo sicuro i dati nei sistemi di intelligenza artificiale. Porta con sé oltre un decennio di esperienza che copre lo sviluppo di prodotti di intelligenza artificiale e apprendimento automatico, software aziendale, elaborazione del linguaggio naturale, strategia dei dati e leadership di prodotto da zero a uno. Prima di unirsi a Transcend, Stewart ha trascorso quasi sei anni presso BCG X, dove ha aiutato grandi aziende a sviluppare strategie di intelligenza artificiale, reinventare i processi interni e costruire prodotti progettati per fornire risultati aziendali misurabili. All’inizio della sua carriera, ha gestito lo sviluppo di API di elaborazione del linguaggio naturale per l’intelligenza degli influencer, compresa l’analisi del sentimento, i grafici della conoscenza, la valutazione della personalità, la rilevazione dei bot e le capacità di sicurezza del marchio.

Transcend è l’unica piattaforma di decisione dei dati autonoma che risponde alla domanda “posso utilizzare questi dati?” per scalare la crescita dei clienti. Le aziende Fortune 500 e i leader di categoria emergenti utilizzano Transcend per codificare direttamente le autorizzazioni di utilizzo dei dati all’interno dei sistemi aziendali che elaborano i dati dei clienti, fornendo una fonte di verità in tempo reale per il consenso, le preferenze e le regole aziendali. Il risultato è una qualità dei dati superiore, un utilizzo etico che protegge il marchio e una conformità pronta per l’audit su larga scala. Con Transcend, le aziende possono sbloccare entrate da intelligenza artificiale, personalizzazione e altre iniziative di dati di prima parte con fiducia. Fondata nel 2017 da Ben Brook (CEO) e Mike Farrell (CTO), Transcend ha sede nella zona della baia di San Francisco.

Ha trascorso quasi sei anni presso BCG X aiutando alcune delle più grandi organizzazioni del mondo a distribuire soluzioni di intelligenza artificiale e apprendimento automatico prima di passare alla sicurezza e alla governance dell’intelligenza artificiale presso Transcend. Quali sono stati i fallimenti ricorrenti della governance o i punti ciechi che ha osservato che l’hanno convinta che la governance dell’intelligenza artificiale debba essere costruita nei sistemi fin dal primo giorno anziché aggiunta in un secondo momento?

In BCG, ho lavorato con aziende in ogni fase di maturità dell’intelligenza artificiale, e un modello mi è rimasto impresso: la governance è sempre arrivata tardi. I team si muovono velocemente per spedire un modello o un prodotto, e la conversazione sulle autorizzazioni dei dati, il consenso o la supervisione diventa realmente focalizzata solo poco prima della produzione e sembra un ‘colpo’. Qualsiasi cosa venga costruita a quel punto si riduce a un rimedio per un sistema che non è stato progettato tenendo presente la governance.

Questo è parte del motivo per cui ero così entusiasta di unirmi a Transcend. Consigliare le aziende su cosa fare non va molto lontano. Volevo aiutare a costruire l’infrastruttura che rende la governance la scelta facile.

Molte organizzazioni stanno correndo per distribuire agenti di intelligenza artificiale in tutto il supporto ai clienti, le operazioni e il lavoro della conoscenza. In che modo la governance degli agenti di intelligenza artificiale autonomi differisce dalla governance dei sistemi software tradizionali o addirittura delle generazioni precedenti di modelli di intelligenza artificiale?

La maggior parte dell’architettura di sicurezza aziendale presume che ci sia un essere umano all’altro capo di ogni azione, e che quell’essere umano possa essere identificato, considerato attendibile e, quando qualcosa va storto, ritenuto responsabile. Ma gli agenti non sono persone. Agiscono da soli, delegano compiti ad altri agenti e concatenano decisioni in modi che raramente si mappano su una persona responsabile.

Concedere a un agente le stesse autorizzazioni statiche che si concederebbero a un dipendente crea un mismatch perché gli agenti mancano di senso comune. La governance deve valutare l’azione specifica che un agente sta per intraprendere, in quel momento, con quei particolari dati. La maggior parte delle aziende sta ancora eseguendo il playbook di gestione delle identità e degli accessi che hanno costruito per gli esseri umani, e molte di loro scopriranno il gap una volta che la distribuzione degli agenti supererà la governance costruita per gestirla.

Ha lavorato attraverso molte ondate di innovazione dell’intelligenza artificiale, dai prodotti di elaborazione del linguaggio naturale e dalle piattaforme di intelligenza degli influencer alle iniziative di trasformazione aziendale dell’intelligenza artificiale. Come è evoluta la conversazione sull’intelligenza artificiale sicura nel corso dell’ultimo decennio, e cosa la preoccupa ancora di più?

Confrontare l’intelligenza artificiale di oggi (e di domani!) con le generazioni precedenti è affascinante perché è uno spazio che si muove incredibilmente in fretta. Le evoluzioni più importanti degli ultimi due anni sono ovviamente state l’ascesa degli agenti e l’importanza della gestione della memoria a lungo termine (OpenClaw, chi?). Questi agenti sono in grado di fare molto di più ad alta qualità, il che li rende ancora più preziosi e, naturalmente, ancora più rischiosi.

Man mano che i sistemi di intelligenza artificiale prendono decisioni utilizzando i dati dei clienti e delle aziende, quali sono i più grandi malintesi che le aziende hanno sul consenso, le autorizzazioni e la governance dei dati negli ambienti guidati dall’intelligenza artificiale?

Il malinteso più comune è trattare il consenso come qualcosa che si cattura una volta e si archivia. Un cliente accetta un insieme di termini all’iscrizione, e le aziende presumono che quell’accordo valga indefinitamente, indipendentemente da come i dati si muovono in seguito o quali nuovi sistemi finiscono per alimentare. Il consenso deve viaggiare con i dati. Se qualcuno aggiorna le proprie preferenze, o una nuova regolamentazione cambia ciò che è consentito, quel cambiamento deve mostrarsi ovunque i dati vivono, non solo nel sistema in cui il consenso è stato originariamente raccolto.

Il secondo malinteso è trattare le autorizzazioni come un dettaglio tecnico che IT o il legale gestisce silenziosamente in background. Una volta che i sistemi di intelligenza artificiale iniziano a prendere decisioni basate su quei dati, l’autorizzazione diventa una questione di prodotto e di business, e qualsiasi lacuna in essa viene ereditata direttamente da qualsiasi iniziativa di intelligenza artificiale che si trova sopra.

Molte aziende ancora si affidano a politiche statiche e revisioni di conformità periodiche. Perché questi approcci lottano in un’era in cui i sistemi di intelligenza artificiale possono imparare, adattarsi e interagire con altri agenti in modo continuo?

Una politica statica cattura come appariva il sistema e cosa era considerato accettabile nel momento in cui qualcuno l’ha scritta. L’intelligenza artificiale non rimane ferma abbastanza a lungo perché quella foto rimanga precisa. Il modello per cui la politica è stata scritta potrebbe non essere il modello che si sta eseguendo sei mesi dopo, e una revisione di conformità trimestrale o annuale non può stare al passo con un sistema che prende decisioni e si adatta tutto il tempo.

La governance di qualcosa che si muove così velocemente richiede una politica che si muova alla stessa velocità. Ciò significa applicare la governance nel punto in cui i dati vengono effettivamente utilizzati, in tempo reale, piuttosto che controllarli dopo il fatto contro un documento che era già obsoleto il giorno in cui è stato pubblicato.

Cosa significa una governance efficace quando le organizzazioni iniziano a distribuire reti di agenti di intelligenza artificiale che collaborano tra loro e accedono a più sistemi interni?

Questo è dove diventano ovvi i limiti del controllo di accesso tradizionale. Un agente potrebbe essere autorizzato a leggere un record, chiamare uno strumento e passare i risultati a un altro agente, e ogni uno di quei passaggi può sembrare ragionevole di per sé. L’azione composita (la cosa che è effettivamente accaduta una volta che si concatenano quei passaggi) è spesso qualcosa che nessun essere umano ha esplicitamente approvato. La gestione delle identità e degli accessi tradizionale può confermare se un agente aveva l’autorizzazione per toccare un sistema, sebbene abbia poco da dire su se i dati che ha toccato sono stati raccolti sotto un consenso che copre questo particolare utilizzo, o se la catena di azioni risultante è stata qualcosa che una persona ha effettivamente firmato.

Transcend si concentra sull’integrazione delle autorizzazioni di utilizzo dei dati direttamente nei flussi di lavoro aziendali. Quanto è importante l’infrastruttura di governance in tempo reale man mano che le organizzazioni passano dalla sperimentazione con l’intelligenza artificiale alla distribuzione su larga scala?

Durante il test, un team può spesso cavarsela con revisioni manuali e audit periodici, perché le poste in gioco sono basse. In produzione, specialmente con l’intelligenza artificiale agente, si rompe perché la scala è semplicemente massiccia. Il sistema odierno di elenchi di controllo e riunioni è una situazione in cui tutti perdono. I team di conformità e sicurezza ricevono essenzialmente una promessa con nessun controllo continuo, mentre il team di prodotto è ora impegnato in revisioni manuali farraginose che forniscono poco valore reale all’utente finale. È quando l’infrastruttura in tempo reale diventa l’unico approccio che funziona. Applicare le autorizzazioni nel momento in cui i dati si muovono o una decisione viene presa, invece di ricostruire cosa è successo dopo che qualcosa è già andato storto, è ciò che rende la governance significativa per la conformità e preziosa per gli utenti.

Nella sua opinione, quali sono i rischi più significativi associati all’intelligenza artificiale agente nei prossimi tre o cinque anni, e quali di quei rischi sono attualmente sottovalutati dai leader aziendali?

Penso che il modello di avere agenti che ereditano le autorizzazioni di un utente sia più rischioso di quanto ci rendiamo conto. Gli esseri umani hanno il giudizio, ma un’intelligenza artificiale seguirà le istruzioni giuste fino a cadere da una scogliera.

Come dovrebbero bilanciare le squadre di prodotto la pressione per spedire funzionalità di intelligenza artificiale velocemente con la necessità di stabilire framework di governance, trasparenza e responsabilità?

Penso che una cosa concreta sia la correzione di ciò che chiamo la “Tassa di Slop”.

Ci siamo tutti velocemente ricontattati per svalutare la validità e il valore dell’output dell’intelligenza artificiale. È il motivo per cui tutti ci consigliano di rimuovere i trattini (anche se sono appropriati) e il motivo per cui un sito che utilizza la palette di colori standard di Claude sembra a buon mercato (anche se sembra carino) e il motivo per cui le informazioni fornite dall’intelligenza artificiale vengono trattate come sospette (anche se sono vere). Ciò influisce sul valore percepito del proprio prodotto.

La correzione della Tassa di Slop è in realtà una migliore governance e trasparenza. Ad esempio, abbiamo recentemente spedito una funzionalità chiamata Utilizzo dell’intelligenza artificiale del fornitore, che recupera informazioni pubblicamente disponibili sulle funzionalità di intelligenza artificiale e sulla postura di governance delle principali aziende, per aiutare i team di abilitazione dell’intelligenza artificiale, sicurezza e approvvigionamento a svolgere il proprio lavoro più velocemente. Abbiamo scoperto che utilizzare un framework di orchestrazione multi-agente, insieme al raccoglimento e alla presentazione di prove con collegamenti di origine e citazioni per i propri risultati, ha portato a un miglioramento massiccio della qualità dei nostri risultati. Questa pratica di raccolta di prove e controllo di qualità degli agenti è una situazione in cui tutti vincono perché i risultati effettivi per l’utente sono migliori e la conformità è più robusta.

Guardando avanti, crede che la governance dell’intelligenza artificiale diventerà eventualmente un vantaggio competitivo piuttosto che semplicemente un requisito di conformità, e cosa separerà le organizzazioni che la ottengono da quelle che restano indietro?

Sì, e si torna allo stesso modello che ho osservato a BCG. Le aziende che trattavano la governance come qualcosa da aggiungere una volta che un prodotto era già sul mercato erano sempre bloccate all’ultimo controllo prima della scalabilità e tendevano a rimanere bloccate nel “Purgatorio del Pilota”. Le aziende che costruiscono la governance nel sistema fin dal primo giorno sono in grado di muoversi con una sorta di fiducia che l’altro gruppo non ha, perché non si chiedono costantemente cosa troveranno quando finalmente guarderanno da vicino come il loro intelligenza artificiale sta effettivamente utilizzando i dati.

Quella lacuna si allargherà man mano che la distribuzione degli agenti si accelera. Le aziende che corrono più velocemente per distribuire agenti senza ripensare come quegli agenti sono autorizzati sono quelle più probabili di incontrare problemi, e una volta che lo faranno, le aziende che hanno ottenuto giusto l’infrastruttura