Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital – Intervista

Steve Nemzer, Sr. Director, AI Growth & Innovation, TELUS Digital, guida iniziative focalizzate sull’avanzamento dei dati di formazione dell’AI e delle infrastrutture per i sistemi di intelligenza artificiale di prossima generazione. Il suo lavoro include lo sviluppo di set di dati per modelli di ricerca approfondita, ambienti di apprendimento per rinforzo, dati di modello del mondo, iniziative di AI sovrane e framework di mitigazione dei rischi dell’AI, con un forte accento sulle pratiche di AI responsabili come l’indirizzamento del bias dei set di dati e il supporto alle condizioni di lavoro eque per i formatori dell’AI. All’inizio della sua carriera, Nemzer ha fondato VeriTest Labs, aiutando i primi leader tecnologici, tra cui Microsoft (MSFT ), Intel (INTC ), Oracle (ORCL ) e Sun Microsystems, a costruire ecosistemi di software di terze parti fiorenti prima che la società venisse acquisita da Lionbridge.

TELUS Digital è una società di servizi tecnologici globali che aiuta le organizzazioni a progettare, costruire e gestire piattaforme digitali e soluzioni alimentate dall’AI. Operando in decine di paesi, la società fornisce servizi come dati di formazione dell’AI e annotazione, ingegneria di prodotti digitali e gestione delle esperienze dei clienti. Le sue piattaforme e servizi supportano le imprese in vari settori, tra cui tecnologia, finanza, sanità, telecomunicazioni e giochi, mentre modernizzano le operazioni e distribuiscono capacità avanzate dell’AI.

Considerando la tua esperienza nel testing dell’AI, nella convalida dei dati e nella distribuzione responsabile, come vedi il passaggio dall’AI generativa basata sul linguaggio ai modelli del mondo che mirano a ragionare su situazioni e risultati reali, in particolare nel tuo ruolo attuale presso TELUS Digital?

I grandi modelli linguistici (LLM) sono fondamentalmente sistemi di previsione dei pattern. Generano risposte prevedendo il prossimo token in base ai pattern appresi da grandi corpora statici. Sebbene ciò possa sembrare ragionamento, il modello non sta effettivamente modellando come le azioni cambiano lo stato del mondo.

I modelli del mondo adottano un approccio diverso. Invece di prevedere la prossima parola o token, mirano a prevedere il prossimo stato di un sistema modellando le transizioni di stato. Ciò consente ai sistemi di simulare come gli ambienti evolvono in risposta alle azioni. Nella pratica, ciò apre la porta al ragionamento ipotetico, dove un modello può valutare diversi risultati possibili prima di prendere una decisione. Per i sistemi interattivi, ciò può supportare una presa di decisione e una pianificazione più affidabili.

Questo passaggio cambia anche il modo in cui pensiamo alla distribuzione responsabile. Con i sistemi di AI generativa tradizionali, gran parte dell’attenzione si è concentrata su questioni come il bias e le allucinazioni. Man mano che i modelli si spostano verso il ragionamento sugli ambienti e le azioni, altri rischi diventano più prominenti.

Ad esempio, le organizzazioni devono considerare il divario “sim-to-real”, dove i comportamenti appresi in ambienti simulati potrebbero non tradursi pulitamente in condizioni del mondo reale. La variazione della distribuzione diventa anche una preoccupazione chiave, poiché gli ambienti che i modelli incontrano nella distribuzione potrebbero differire dai dati su cui sono stati addestrati.

È qui che il testing e la convalida diventano critici, che è un grande focus nel mio ruolo presso TELUS Digital. Man mano che i sistemi di AI si spostano oltre la generazione del linguaggio in sistemi che interagiscono con gli ambienti e prendono decisioni, le organizzazioni necessitano di rigidi framework di valutazione per garantire che i modelli si comportino in modo affidabile in condizioni del mondo reale.

Molte persone conoscono i grandi modelli linguistici, ma poche comprendono i modelli del mondo. In termini semplici, qual è il problema che i modelli del mondo stanno cercando di risolvere che i LLM fondamentalmente lottano con?

Un modello del mondo è un sistema che può prevedere “cosa succede dopo” dato uno stato attuale e un’azione. La formula è: Stato + Azione → Prossimo Stato

Se sto tenendo una mela e la lascio andare, un modello del mondo prevede che la mela cada. Non sa solo come appaiono le mele o cosa le persone dicono sul lasciare cadere le mele – prevede la conseguenza in base a una comprensione della fisica. Un modello del mondo sofisticato prevederebbe cosa succederebbe se facessi la stessa cosa mentre sono sulla Stazione Spaziale Internazionale rispetto a quando sono sulla superficie della Terra.

Questo è diverso da un LLM. Un LLM prevede: “Dato questa sequenza di token, quale token viene dopo?” È stato addestrato su testo – cosa gli esseri umani hanno scritto sul mondo, non il mondo stesso. Può dirti che le mele cadute cadono perché ha letto di quello. Ma non ha un motore di fisica interno che simula la caduta.

Detto in altro modo, gli LLM sono bravi a prevedere statisticamente la prossima parola in una risposta a una domanda, ma la comprensione del mondo reale va oltre la descrizione e la coesione del linguaggio. I modelli del mondo mirano a comprendere come le situazioni evolvono passo dopo passo, qual è il prossimo stato dato lo stato attuale e l’azione che sta per accadere, quali sono le limitazioni.

I modelli del mondo vengono spesso descritti come abilitanti per i sistemi di AI a simulare i risultati prima di agire. Come si presenta questo nella pratica e quanto siamo vicini a vedere questo funzionare in modo affidabile al di fuori degli ambienti di ricerca?

Una sfida nel rispondere a questa domanda è che il termine “modello del mondo” viene usato in modo piuttosto lasco, e il significato tende a cambiare a seconda del contesto. Una definizione semplice di modello del mondo è che consentono a un agente di simulare il suo stato attuale e l’ambiente e prevedere gli stati futuri, e ragionare sulle conseguenze a valle. I ricercatori tendono a categorizzare i modelli del mondo in modo più granulare, in base ai loro metodi di rappresentazione e elaborazione. Ci sono modelli del mondo latenti, che distillano l'”essenza” di un ambiente in uno spazio compatto e focalizzato. Ci sono modelli del mondo generativi che “comprendono” la fisica per creare rappresentazioni visive frame-per-frame, e ci sono architetture di previsione predittiva congiunta (JEPA) che prevedono i risultati dalle azioni passate.

I modelli del mondo latenti sono già usciti dal laboratorio di ricerca e stanno aiutando in applicazioni come la guida autonoma, le operazioni di magazzino, le operazioni industriali e l’agricoltura. I modelli del mondo generativi stanno emergendo nella creazione di dati sintetici per lo sviluppo di motori di gioco, per casi d’uso di guida autonoma, casi d’uso di AI incorporata per la simulazione di movimenti umani e per creare rendering architettonici,

L’approccio JEPA, favorito da luminari del settore come Yan LeCun, prevede i risultati in uno spazio di rappresentazione astratto piuttosto che generare pixel. I robot sono stati in gran parte confinati in ambienti controllati, ma JEPA sta cambiando questo, consentendo ai robot di spostarsi verso ambienti aperti e reali.

È ovvio che ci vuole molto più testing e valutazione per la sicurezza e l’affidabilità per scalare questi modelli fuori dagli ambienti sandbox e nel mondo reale.

Da un punto di vista aziendale, dove ti aspetti che i modelli del mondo forniscano un valore significativo per primo, che sia nella robotica, nei sistemi di decisione autonomi, nei gemelli digitali o in ambienti aziendali più astratti?

La mia sensazione è che i gemelli digitali siano probabilmente i primi a fornire un valore pratico. Riprodurre lo stato di un sistema del mondo reale in modo che possiamo testare scenari prima di agire. Ad esempio, in un sistema di catena di approvvigionamento, un produttore può costruire un gemello della sua rete di partner di componenti. La simulazione può essere alimentata da dati di sensori, log, dati di telemetria e può rispondere a domande come “Cosa succederebbe se lo Stretto di Hormuz fosse chiuso?” Quindi possiamo testare il reindirizzamento delle spedizioni prima di cambiare effettivamente la logistica. Ciò ci aiuta a spostarci dal monitoraggio di un sistema live alla simulazione di un sistema live.

Il valore significativo dei modelli del mondo per la robotica si sta muovendo in parallelo. Avere robot che comprendono proprietà fondamentali della fisica, come l’attrito su una superficie quando si prende un oggetto, darà una spinta alla distribuzione dell’AI incorporata.

Molte parti della tua carriera si sono concentrate sulla raccolta dei set di dati, sull’annotazione e sulla convalida. Come cambiano le sfide dei dati quando si passa dalla formazione del testo statico all’insegnamento ai sistemi di come si comporta il mondo nel tempo?

La situazione della raccolta dei dati per l’abilitazione dei modelli del mondo richiede una grande virata rispetto ai metodi di formazione dei LLM di ieri. Innanzitutto, non abbiamo un’enorme quantità di dati di pre-formazione disponibili, petabyte da Common Crawl e miliardi di pagine web. Alcuni ricercatori di robotica hanno speculato che abbiamo solo 1/1000 dei dati necessari per formare l’intelligenza fisica e i modelli del mondo, per raggiungere un punto di prestazioni equivalente a quello di GPT2.

Quindi ci vorrà un po’ di tempo per costruire quei set di dati. Nel caso dell’AI incorporata, avremo bisogno di milioni di ore di set di dati multisensoriali egocentrici annotati. Alcuni teleoperati, alcuni da ambienti sintetici come Isaac Sim. A TELUS Digital, abbiamo fatto la virata dal testo ai set di dati multimodali e multisensoriali e ai set di dati di simulazione. Naturalmente, siamo aiutati dalla nostra forte esperienza nella raccolta dei dati e nell’annotazione nella visione computerizzata. Siamo stati all’avanguardia lì per molti anni.

Oltre alla scarsità dei dati di pre-formazione e dei dati di addestramento annotati, ci saranno molte altre sfide di formazione nella scalatura dei modelli del mondo. Potrebbero esserci nuovi paradigmi trasformativi (senza punizione) come GPT e concetti di apprendimento automatico richiesti per accelerare i progressi nelle metodologie di formazione dei modelli del mondo.

I modelli del mondo influenzano le decisioni piuttosto che generare solo output. Quali nuovi rischi di sicurezza o di governance introducono rispetto ai sistemi di AI generativa?

Ci sono molti rischi di sicurezza e di governance, poiché i modelli del mondo sono intrinsecamente destinati a supportare operazioni agentiche. Quindi tutte le preoccupazioni che abbiamo sugli agenti di AI di oggi si applicano ancora allo scenario del modello del mondo. Abbiamo bisogno di una supervisione umana per tutte le decisioni importanti, sia che si tratti di sicurezza dei trasporti, sicurezza professionale, sanità, finanze e attività quotidiane.

Un esempio specifico dei modelli del mondo è il divario tra i dati di formazione della simulazione e gli ambienti del mondo reale. Una variazione superficiale microscopica può rendere il mondo reale caotico per i robot che sono stati ben addestrati nella simulazione.

Un altro rischio è legato al comportamento umano. Man mano che i sistemi diventano più e più autonomi, gli esseri umani inizieranno a fare affidamento su di essi in modo pesante, e la supervisione potrebbe diventare lasca, e alla fine il sistema non riceverà le necessarie ricontrolli.

Il bias e la fiducia rimangono grandi barriere all’adozione dell’AI. Come si evolvono queste preoccupazioni quando i sistemi di AI iniziano a modellare e agire all’interno di ambienti reali o sociali complessi?

Dal pubblico generale alla suite dirigente, la fiducia e la fiducia nei modelli di AI sono già molto basse e non vedo che questo cambi molto nel breve termine.

Le preoccupazioni sul potere dell’AI concentrato in poche mani, sull’AI che prende il posto dei lavori, sul bias dell’AI che mette i gruppi sottorappresentati in svantaggio, sui modelli che prendono decisioni che influenzano la salute, la carriera e le finanze, sui modelli che utilizzano la proprietà intellettuale senza consenso, nonché le preoccupazioni sui deepfake dell’AI, sono già molto elevate. Gli esecutivi si preoccupano di gestire le transizioni del personale, la privacy dei dati e la conformità normativa, e di perdere terreno rispetto ai concorrenti nella “corsa agli armamenti” dell’AI.

Gli sviluppi recenti nelle notizie sulla pressione del governo sugli sviluppatori di modelli di AI fondamentali per allentare i termini di utilizzo relativi a cose come armi autonome o sorveglianza di massa stanno solo amplificando queste preoccupazioni. Una distribuzione più ampia di robot più intelligenti e autonomi basati sui modelli del mondo farà lo stesso.

D’altra parte, stiamo vedendo sacche di adozione e fiducia nell’AI su larga scala. Un esempio è il modo in cui gli agenti di codifica hanno preso piede negli ultimi mesi. I manager dello sviluppo software hanno una grande fiducia negli agenti di codifica, e c’è un cambiamento fondamentale nel modo in cui lo sviluppo software viene fatto, dalla creazione del PRD alla prova di regressione post-rilascio. Il mondo dello sviluppo software sta evolvendo a una velocità vertiginosa, e gran parte di ciò è dovuta alla fiducia negli agenti di codifica ad alte prestazioni. Man mano che la fiducia degli utenti cresce in altri casi d’uso, mi aspetto che l’adozione decolli in modo simile.

Le soluzioni per costruire la fiducia includono set di dati diversificati e ambienti nella fase di formazione, e un test di stress e di red teaming come salvaguardia di sicurezza prima della distribuzione. Una regolamentazione proattiva è un must. Alcuni hanno suggerito che i costruttori di modelli fondamentali debbano fornire “Rapporti di impatto sociale”, simili ai Rapporti di impatto ambientale (EIR), prima del rilascio di nuovi modelli.

A TELUS Digital, gran parte del lavoro consiste nel distribuire l’AI su larga scala per imprese e utenti reali. Come si intersecano idee come i modelli del mondo con preoccupazioni pratiche come la trasparenza, l’impatto sulla forza lavoro e il mantenimento della fiducia del cliente?

Per chiarire, TELUS Digital lavora sia a monte direttamente con i costruttori di modelli fondamentali, sia a valle con le imprese che distribuiscono modelli di AI. Il nostro campo di gioco è end-to-end:

La domanda sulle preoccupazioni pratiche è legata alla precedente indagine sulla fiducia. Guardiamo la fiducia della forza lavoro. Man mano che i modelli di AI abilitati dai modelli del mondo diventano più pervasivi, gli esecutivi devono essere trasparenti con i loro dipendenti, i contractor e i clienti. Le comunicazioni chiare sono richieste su cosa sono bravi i modelli, come sono stati addestrati, quali dati sono stati utilizzati per addestrarli, quali salvaguardie sono state messe in atto e dove si trova la supervisione umana. I leader aziendali devono mostrare alla forza lavoro attuale il valore dei nuovi modelli, ad esempio facendo tutto il lavoro noioso in un lavoro. E devono mostrare percorsi di transizione per i lavoratori colpiti che potrebbero spostarsi verso nuovi lavori emergenti man mano che i precedenti vengono sempre più fatti dai modelli di AI abilitati dai modelli del mondo. I lavoratori di colletti bianchi stanno affrontando questo in tempo reale, e molti lavori manuali saranno colpiti nei prossimi anni man mano che l’automazione abilitata dai modelli del mondo si espande.

C’è una crescente lacuna tra ciò che i ricercatori di AI comprendono e ciò che il pubblico percepisce. Come possono le organizzazioni comunicare progressi come i modelli del mondo in modo da costruire la fiducia senza esagerare le loro capacità?

Di nuovo, si tratta di trasparenza sulle limitazioni dei modelli e su cosa sono bravi i modelli. Comunicare come i modelli sono stati addestrati per mitigare i potenziali bias. Quali salvaguardie umane sono in atto. Alcune dimostrazioni reali delle capacità del modello e dei casi d’uso, abbinate a studi longitudinali, possono andare a lungo per aumentare la fiducia del pubblico e della forza lavoro.

Infine, quale è un comune malinteso sui modelli del mondo dell’AI, sia troppo ottimistico che troppo cauto, che pensi debba essere corretto subito?

Per quanto limitata la misura in cui il pubblico generale sia informato sui modelli del mondo, un malinteso è che i modelli del mondo debbano comprendere tutta la fisica e la scienza per essere efficaci. I modelli del mondo saranno distribuiti prima di quanto si potrebbe aspettare perché i singoli casi d’uso possono essere ristretti. Un veicolo autonomo ha bisogno di comprendere solo la dinamica del traffico e la fisica della strada, e come le condizioni attuali (ad esempio, essere vicino a una scuola elementare, o una prevalenza di SUV vicini con silhouette alte) influenzeranno la sua visione e la sua presa di decisione. Un veicolo autonomo non ha bisogno della fisica che sostiene il funzionamento di una soufflé per funzionare.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare TELUS Digital.