Zuzanna Stamirowska, Co-Fondatrice e Amministratore Delegato di Pathway – Serie di Interviste

Zuzanna Stamirowska, Co-Fondatrice e Amministratore Delegato di Pathway, è una ricercatrice diventata imprenditrice che in precedenza ha lavorato su fenomeni emergenti e sull’evoluzione di reti su larga scala. I suoi progetti sono stati riconosciuti dall’Accademia Nazionale delle Scienze degli Stati Uniti e lei detiene un dottorato in Sistemi Complessi. Zuzanna, insieme al CTO Jan Chorowski e al CSO Adrian Kosowski, guida un team che ha già costruito strumenti di intelligenza artificiale open con oltre 62.000 stelle su GitHub.

Pathway sta ripensando il modo in cui i modelli di intelligenza artificiale pensano, con l’obiettivo di creare sistemi che operino in modo continuo e adattivo piuttosto che in lotti. Dietro le quinte, la sua strumentazione e l’architettura consentono ai modelli di elaborare, apprendere e evolversi in tempo reale. L’azienda ha attirato il sostegno di personalità del calibro di Lukasz Kaiser (co-inventore dei Transformer) e di importanti società di venture capital.

Cosa ti ha motivato a lanciare Pathway e come il tuo background in sistemi complessi, teoria dei giochi e fenomeni emergenti ha plasmato la visione e la direzione tecnica dell’azienda?

Volevamo creare un’intelligenza artificiale che pensi e si adatti come gli esseri umani. Ci siamo resi conto che questo significa creare sistemi di intelligenza artificiale (modelli di apprendimento profondo o pipeline di apprendimento automatico costruite da un numero maggiore di mattoni) in grado di apprendere in modo continuo sulla base dei dati dell’ambiente, migliorando con l’esperienza e, a volte, “correggendo” le loro precedenti opinioni sul mondo. Abbiamo anche ottenuto una certa copertura sul tema dell'”apprendimento della macchina”. Inoltre ai modelli, tali sistemi necessitavano di un intero strato di ingegneria per catturare i dati alla fonte e alimentarli immediatamente in sistemi dinamici.

Avendo lavorato sull’emergenza in reti complesse, ho sviluppato una serie di ipotesi che abbiamo applicato direttamente o quasi direttamente in BDH. Ironia della sorte, ho fatto un paio di scommesse con i miei colleghi (Adrian, CSO, e Jan, CTO) e ho vinto un paio di bottiglie di cognac molto buono. In primo luogo, credevamo che l’intelligenza naturale derivi da una struttura emergente e dall’azione dei neuroni nel cervello (questo è ovvio, non c’è scommessa qui). In secondo luogo, dalle mie ricerche precedenti, sapevo che, in generale, la funzione plasma la rete (ho vinto questa scommessa). In precedenti lavori, avevo scoperto questo per il commercio e i neuroscienziati avevano studiato questo per i nervi e i sensi nei topi, ecc. Terzo, era il fatto che questa formazione della struttura della rete debba seguire alcune regole molto locali direttamente collegate al cosiddetto “vicinato” di ogni posizione della rete (in questo caso un nodo è un neurone) (ho vinto anche questa scommessa). Gli altri pezzi provenivano dalla mia conoscenza dei sistemi di interazione delle particelle – pensa, ad esempio, al magnetismo – dove le particelle regolano i loro spin in un campo esterno e creano una sorta di “ordine spontaneo”. Questo era il tipo di matematica che ho utilizzato lavorando sulla teoria dei giochi sui grafi. Mettendo tutto ciò insieme, fin dal primo giorno dell’esistenza dell’azienda, abbiamo avuto una forte convinzione che la scarsità (strutture simili a grafi) sarebbe stata una pietra miliare fondamentale nel progresso dell’intelligenza artificiale.

La considerazione di un concetto di tempo è stata critica e anche abbastanza caratteristica del mio background, perché l’emergenza di solito si verifica nel tempo.

Quando hai lanciato l’azienda nel 2020, quali erano le tue prime ipotesi su cosa avrebbero dovuto fare diversamente i futuri sistemi di intelligenza artificiale e come queste opinioni sono evolute?

Avevamo una forte convinzione fin dall’inizio che l’intelligenza artificiale doveva essere live, adattiva e integrata in processi su larga scala. Doveva apprendere direttamente dalla fonte, con i dati più grezzi possibili.

Inizialmente abbiamo fatto questo per approcci di apprendimento automatico più classici e, lungo la strada, abbiamo costruito strati di ingegneria che consentono a tali sistemi di essere distribuiti facilmente nel mondo reale. Ora, abbiamo portato questo approccio all’apprendimento profondo.

Sapevamo che gli elementi di tempo e struttura (reti) sarebbero stati fondamentali per il progresso verso l’intelligenza artificiale generale. Abbiamo scritto questo in alcuni dei nostri documenti fondativi del 2020.

Puoi spiegarci l’architettura “post-Transformer” che stai introducendo e come si differenzia dagli attuali sistemi basati sui Transformer?

La nostra nuova architettura, chiamata Baby Dragon Hatchling (BDH), collega formalmente il modo in cui i Transformer elaborano le informazioni con il modo in cui la ragione emerge nel cervello.
BDH si comporta come un sistema fisico: un modello di calcolo cerebrale in cui i neuroni fanno uno sforzo collaborativo per scoprire il prossimo fatto più rilevante. La ragione contestuale non è limitata dalle limitazioni ingegneristiche, come la lunghezza fissa del contesto del Transformer, ma piuttosto scala con il numero di neuroni del modello.

Traducendo tutto ciò in termini più tecnici, a differenza del Transformer, in BDH abbiamo un’attenzione lineare, vettori chiave-query sparsi e nessun limite sulla dimensione della finestra di contesto.

Questo approccio apre la strada a sistemi che apprendono mentre eseguono, sostengono lunghe catene di ragionamento e si adattano in modo continuo nel contesto.

Una caratteristica fondamentale del sistema è la località: i dati importanti sono posizionati proprio accanto ai siti in cui vengono elaborati. Ciò minimizza la comunicazione e elimina il collo di bottiglia più doloroso per i modelli di ragionamento durante l’inferenza: la larghezza di banda tra memoria e core.

Come il tuo approccio trae ispirazione dal ragionamento umano, in particolare nell’abilitare l’adattabilità e l’apprendimento continuo senza ritraining?

BDH avvicina l’intelligenza naturale e l’intelligenza artificiale.

Questa architettura è ispirata al modo in cui i neuroni e le sinapsi funzionano nel cervello. Mappa i meccanismi di attenzione biologici al concetto computazionale di attenzione nell’apprendimento automatico, creando un ponte scalabile tra i Transformer e il cervello.

BDH porta l’attenzione vicino ai parametri del modello, presentandoli come due riflessi della stessa dinamica del sistema cerebrale, con l’attenzione che cambia a un ritmo veloce mentre nuovi fatti diventano noti durante il ragionamento e i parametri del modello che cambiano più lentamente mentre il sistema cambia le sue abitudini a lungo termine. Ciò è più vicino a come crediamo che il ragionamento funzioni nel cervello.

Vediamo BDH come un punto di riferimento verso la progettazione di sistemi di intelligenza artificiale che ragionano a metà compito, migliorano con l’esperienza e si adattano senza ritraining – proprietà che associamo al ragionamento umano.

Una delle sfide nell’intelligenza artificiale è bilanciare la stabilità con l’adattabilità – come assicuri che i sistemi possano apprendere in tempo reale senza perdere le conoscenze passate?

BDH si affida alla sua struttura senza scala e agli stati dei neuroni localizzati per sostenere il ragionamento su orizzonti temporali lunghi, bilanciando la stabilità e la capacità di integrare nuove conoscenze e osservazioni. Questo equilibrio naturale è facile da estrarre e seguire nel corso della vita di un modello.

Con BDH stiamo ponendo il ragionamento come la pietra angolare dell’intelligenza. Con il lavoro attuale, facciamo progressi su un’ipotesi sul ruolo della conoscenza nei modelli di linguaggio su larga scala: non è tanto questione di cosa è “vero”, ma di cosa è “utile” in un determinato contesto per progredire in una determinata catena di ragionamento. Ad esempio, se la conoscenza è contestualizzata, all’improvviso non c’è contraddizione tra il nostro mondo che segue le leggi della natura e il fatto che conosciamo una fiaba che ammette l’esistenza di fate e magia. Allo stesso modo non c’è contraddizione per un modello che considera diverse ipotesi di previsione, con ipotesi più e meno ottimistiche, in una singola catena di pensieri.

I modelli basati su BDH acquisiscono nuovi fatti durante la loro vita in modo contestualizzato. Possono autocorreggersi a causa di ciò. Esponendo statistiche facili da seguire dell’attività dei neuroni e un controllo granulare sul trasferimento della conoscenza dal contesto ai parametri del modello, l’architettura aiuta a mitigare il rischio di “contesti superati” che riemergono in un momento inopportuno.

Quali sono i compromessi ingegneristici nel costruire un motore di elaborazione dei dati in tempo reale che possa sostenere queste capacità su larga scala?

L’offerta aziendale di Pathway si basa sul motore di elaborazione dei dati più veloce sul mercato. Quel motore sostiene la nostra capacità di gestire input in tempo reale e di reagire a nuove informazioni con bassa latenza. Con il presente breakthrough di BDH, ci assicuriamo che questa adattabilità in tempo reale si estenda fino ai modelli di intelligenza artificiale fondamentali utilizzati nei deploy. Il nostro obiettivo principale per i deploy su larga scala è spostarsi dall’ottimizzazione statica alla costruzione di un’infrastruttura in grado di gestire il ragionamento a lungo termine.

Quali sono i casi d’uso più convincenti che richiedono veramente questa prossima fase dell’intelligenza artificiale e dove i sistemi basati sui Transformer attuali falliscono?

Molte innovazioni hanno esteso la funzionalità dell’intelligenza artificiale generativa per adattarsi rapidamente a nuove informazioni e fare affidamento profondamente sul “tempo sul compito”. Tuttavia, nulla è ancora in grado di sostituire l’assunzione di una persona altamente talentuosa.

La risposta rapida e semplice è che stiamo parlando di qualsiasi compito che attualmente richieda più di 2 ore e 17 minuti di lavoro coerente da parte di un esperto umano. Questo è il limite attuale di GPT5 secondo METER.

Abbiamo avuto grandi discussioni con partner di design nell’ambito aziendale che richiedono una personalizzazione profonda, modelli che apprendono sul lavoro con dati scarsi e la sicurezza del deploy.

BDH rende relativamente semplice per un’azienda affrontare processi complessi come:

• Chiudere un trimestre per un’azienda pubblica
• Generazione dinamica del prossimo miglior corso di azione in ambienti ad alto rischio è altamente rilevante sia nelle vendite che nella difesa.
• Gestione degli investimenti

La NATO sta già utilizzando la tecnologia di Pathway per elaborare dati militari e sociali in tempo reale, consentendo la pianificazione di sistemi che si adattano man mano che le situazioni evolvono. La Poste sta utilizzando la Live AI di Pathway per gestire dinamicamente le proprie operazioni in tempo reale. Settori come la finanza e la sanità, dove i dati sono scarsi o sensibili, possono trarre vantaggio da modelli che richiedono meno dati ma forniscono approfondimenti più profondi e giudizi più affidabili.

Puoi condividere esempi di come organizzazioni come la NATO, La Poste o la Formula 1 hanno applicato la tua tecnologia e l’impatto che ha avuto?

La NATO, La Poste e le squadre di Formula 1 sono già early adopter della tecnologia di Pathway.

Pathway offre alla NATO una tecnologia di elaborazione dei dati robusta e innovativa per sbloccare nuove capacità per utilizzi critici su larga scala. Con il nostro dimostratore funzionale, lo strumento di abilitazione del rinforzo (REST), abbiamo sviluppato la pietra angolare per ulteriori sviluppi di soluzioni di intelligenza artificiale supportate dalla NATO. Utilizzando Pathway per connettere i dati open source, abbiamo accelerato la consapevolezza della situazione e l’abbiamo portata al livello necessario che la NATO richiedeva per operare con successo negli anni ’20.

La Poste utilizza Pathway per migliorare i processi relativi alle sue unità di trasporto. Con il Framework di Pathway, La Poste anticipa le proprie operazioni in modo automatico in tempo reale e genera un’analisi qualitativa live delle proprie operazioni di trasporto. Con Pathway, l’azienda è stata in grado di ottimizzare la propria logistica in modo dinamico, riducendo i tempi di attesa, i tempi di elaborazione/lead time e aumentando l’affidabilità. Inoltre, ha ottenuto riduzioni significative dei costi operativi (riduzione del 50% del TCO in alcuni casi).

Una squadra di Formula 1 sfrutta Pathway per adattare la strategia in condizioni di alta pressione e in tempo reale. L’azienda desiderava una piattaforma per gli utenti finali per creare funzioni definite dall’utente (UDF) in modo indipendente e alimentare vari bisogni aziendali, dalle esportazioni/sim racing alle auto e alla corsa di Formula 1. Il Framework di dati live di Pathway consente trasformazioni di dati avanzate nella squadra di Formula 1 con la latenza più bassa (velocità di elaborazione 90 volte più veloce di prima).

Quali sono gli ostacoli più grandi per il deploy di sistemi adattivi in settori come la sanità o la difesa e come li affronti?

Per design, gli attuali LLM generano contenuti che sono “nuovi” senza un vero giudizio – chiamatelo il ‘gen’ dell’intelligenza artificiale generativa. Molti settori altamente regolamentati necessitano di governance per definizione e sono riluttanti a deployare processi aziendali guidati dall’intelligenza artificiale senza ripetibilità, fiducia e osservabilità. Ironia della sorte, per deployare l’intelligenza artificiale, queste aziende spesso “semplificano” la funzionalità e introducono ulteriore complessità per facilitare la conformità con le normative.

Per design, BDH consente a un’azienda di osservare e adattarsi a ciò che sta accadendo all’interno del modello. Questa osservabilità su lunghi periodi di “ragionamento” dà all’azienda la fiducia per affrontare processi aziendali più lunghi e complessi. BDH è, per design, sia osservabile che consapevole del processo aziendale sull’asse del tempo. Non c’è bisogno di set di dati perfetti e enormi per l’apprendimento, non c’è bisogno di finestre di contesto molto lunghe o di logica di collegamento per l’osservabilità.

Quali considerazioni etiche o salvaguardie sono essenziali mentre i sistemi di intelligenza artificiale iniziano ad apprendere e adattarsi in tempo reale?

I sistemi che apprendono con l’esperienza hanno in realtà maggiori possibilità di essere sicuri rispetto a quelli attuali basati sui Transformer. Un elemento di ciò è il fatto che, con l’apprendimento continuo, hanno la possibilità di autocorreggersi e aggiornare le loro preconcezioni se erano sbagliate.

Per assicurare la sicurezza di tali sistemi, devono ricevere un feedback nel tempo. Ciò significa che dobbiamo continuare a fornire loro dati freschi e potenzialmente assicurare loop di feedback per far loro capire gli effetti del loro stesso funzionamento. Ciò è vicino all’apprendimento per rinforzo.

In secondo luogo, un modello basato su BDH offre interpretabilità, il che rende più facile capire come funziona, dando agli esseri umani un controllo migliore su di essi.

Cosa ci vorrebbe perché un paradigma “post-Transformer” diventi mainstream all’interno della comunità di intelligenza artificiale?

Un modello sul mercato che sia estremamente utile e abbia costi di inferenza significativamente più bassi e sia più veloce. Crediamo che ci sia una vittoria di mercato da raggiungere, soprattutto nel settore aziendale.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Pathway.