Zuzanna Stamirowska, Co-Fondatrice e Amministratore Delegato di Pathway – Serie di Interviste

Zuzanna Stamirowska, Co-Fondatrice e Amministratore Delegato di Pathway, è una ricercatrice diventata costruttrice che in precedenza ha lavorato su fenomeni emergenti e sull’evoluzione di grandi reti. I suoi progetti sono stati riconosciuti dall’Accademia Nazionale delle Scienze degli Stati Uniti e lei detiene un dottorato in Sistemi Complessi. Zuzanna, insieme al CTO Jan Chorowski e al CSO Adrian Kosowski, guida un team che ha già costruito strumenti di intelligenza artificiale aperti con oltre 62.000 stelle su GitHub.

Pathway sta ripensando il modo in cui i modelli di intelligenza artificiale pensano, con l’obiettivo di creare sistemi che operino in modo continuo e adattivo piuttosto che per lotti. Dietro le quinte, la sua strumentazione e architettura consentono ai modelli di elaborare, apprendere e evolversi in tempo reale. L’azienda ha attirato il sostegno di personalità del calibro di Lukasz Kaiser (co-inventore dei Transformer) e prominenti società di venture.

Cosa ti ha motivato a lanciare Pathway e come la tua formazione in sistemi complessi, teoria dei giochi e fenomeni emergenti ha plasmato la visione e la direzione tecnica dell’azienda?

Volevamo creare un’intelligenza artificiale che pensi e si adatti come gli esseri umani. Ci siamo resi conto che questo significa sistemi di intelligenza artificiale (modelli di apprendimento profondo o pipeline di apprendimento automatico costruite da un numero maggiore di mattoni) in grado di apprendere in modo continuo sulla base dei dati dell’ambiente, migliorando con l’esperienza, a volte “correggendo” le loro precedenti visioni del mondo. Abbiamo effettivamente ottenuto una certa copertura sul tema del “disapprendimento delle macchine”. Oltre ai modelli, tali sistemi necessitavano di un intero livello di ingegneria per catturare i dati alla fonte e alimentarli immediatamente in sistemi dinamici.

Avendo lavorato sull’emergenza in reti complesse, ho sviluppato una serie di ipotesi che abbiamo applicato direttamente o quasi direttamente in BDH. Ironia della sorte, ho fatto un paio di scommesse con i miei colleghi (Adrian, CSO, e Jan, CTO) e ho vinto un paio di bottiglie di cognac di alta qualità. In primo luogo, credevamo che l’intelligenza naturale derivi da una struttura emergente e dall’azione dei neuroni nel cervello (questo è ovvio, nessuna scommessa qui). In secondo luogo, dalla mia precedente ricerca, sapevo che in generale la funzione plasma la rete (ho vinto questa scommessa). Nel mio lavoro precedente, ho scoperto questo per il commercio e i neuroscienziati lo avevano studiato per i nervi e i sensi nei topi, ecc. Terzo, era il fatto che questa formazione della struttura della rete debba seguire alcune regole molto locali direttamente collegate al cosiddetto “vicinato” di ogni posizione della rete (in questo caso un nodo è un neurone) (ho vinto questa scommessa). Gli altri pezzi provenivano dalla mia conoscenza dei sistemi di interazione delle particelle – pensa ad esempio al magnetismo – dove le particelle regolano i loro spin in un campo esterno e creano una sorta di “ordine spontaneo”. Questo era il tipo di matematica che ho utilizzato mentre lavoravo sulla teoria dei giochi sui grafi. Mettendo tutto questo insieme, fin dal primo giorno dell’esistenza dell’azienda, abbiamo avuto una forte convinzione che la sparsità (strutture simili a grafi) sarebbe stata una pietra miliare fondamentale nel progresso dell’intelligenza artificiale.

La considerazione di un concetto di tempo era fondamentale e anche abbastanza caratteristico della mia formazione, poiché l’emergenza di solito si verifica nel tempo.

Quando hai lanciato l’azienda nel 2020, quali erano le tue ipotesi più precoci su cosa avrebbero fatto diversamente i futuri sistemi di intelligenza artificiale e come queste vedute sono evolute?

Avevamo una forte convinzione fin dall’inizio che l’intelligenza artificiale doveva essere viva, adattiva e integrata in grandi processi. Doveva apprendere direttamente dalla fonte, con i dati più grezzi possibili.

Inizialmente l’abbiamo fatto per approcci di apprendimento automatico più classici e, lungo la strada, abbiamo costruito strati di ingegneria che consentono a tali sistemi di essere distribuiti facilmente nel mondo reale. Ora, abbiamo portato questo approccio all’apprendimento profondo.

Sapevamo che gli elementi di tempo e struttura (reti) sarebbero stati fondamentali per il progresso verso l’intelligenza artificiale generale. Abbiamo scritto questo in alcuni dei nostri documenti fondativi del 2020.

Puoi guidarci attraverso l’architettura “post-Transformer” che stai introducendo e come differisce dagli attuali sistemi basati su Transformer?

La nostra nuova architettura, chiamata Baby Dragon Hatchling (BDH), collega formalmente il modo in cui i Transformer elaborano le informazioni con il modo in cui emerge il ragionamento nel cervello.

BDH si comporta come un sistema fisico: un modello di calcolo simile al cervello in cui i neuroni fanno uno sforzo collaborativo per scoprire il prossimo fatto più rilevante. Il ragionamento contestuale non è limitato dalle limitazioni di ingegneria, come la lunghezza fissa del contesto del Transformer, ma scala con il numero di neuroni del modello.

Esprimendo tutto questo in termini più tecnici, a differenza del Transformer, in BDH abbiamo un’attenzione lineare, vettori chiave-domanda sparsi e nessun limite sulla dimensione della finestra di contesto.

Questo approccio apre la porta a sistemi che apprendono mentre eseguono, sostengono lunghe catene di ragionamento e si adattano continuamente nel contesto.

Una caratteristica fondamentale del sistema è la località: i dati importanti sono posizionati proprio accanto ai siti in cui vengono elaborati. Ciò minimizza la comunicazione ed elimina il collo di bottiglia più doloroso per i modelli di ragionamento durante l’inferenza: la larghezza di banda tra la memoria e il core.

Come il tuo approccio trae ispirazione dal ragionamento umano, in particolare nell’abilitare l’adattabilità e l’apprendimento continuo senza ritraining?

BDH avvicina l’intelligenza naturale e l’intelligenza artificiale.

Questa architettura è ispirata al modo in cui i neuroni e le sinapsi funzionano nel cervello. Mappa i meccanismi di attenzione biologici al concetto computazionale di attenzione nell’apprendimento automatico, creando un ponte scalabile tra i Transformer e il cervello.

BDH porta l’attenzione vicino ai parametri del modello, presentandoli come due riflessi della stessa dinamica del sistema simile al cervello, con l’attenzione che cambia a un ritmo veloce come nuovi fatti diventano noti durante il ragionamento e i parametri del modello che cambiano più lentamente come il sistema cambia le sue abitudini a lungo termine. Ciò è più vicino a come crediamo che il ragionamento funzioni nel cervello.

Vediamo BDH come un punto di riferimento per la progettazione di sistemi di intelligenza artificiale che ragionano a metà compito, migliorano con l’esperienza e si adattano senza ritraining – proprietà che associamo al ragionamento umano.

Una delle sfide nell’intelligenza artificiale è bilanciare la stabilità con l’adattabilità – come assicuri che i sistemi possano apprendere in tempo reale senza perdere le conoscenze passate?

BDH si affida alla sua struttura senza scala e agli stati dei neuroni localizzati per sostenere il ragionamento su orizzonti temporali lunghi, bilanciando la stabilità e la capacità di integrare nuove conoscenze e osservazioni. Questo equilibrio di salute naturale è facile da estrarre e seguire nel corso della vita di un modello.

Con BDH stiamo ponendo il ragionamento come il corner stone dell’intelligenza. Con il lavoro attuale, facciamo progressi su un’ipotesi sul ruolo della conoscenza nei Large Language Model: non è tanto questione di cosa è “vero”, ma cosa è “utile” in un dato contesto per progredire in una catena di ragionamento data. Ad esempio, se la conoscenza è contestualizzata, all’improvviso non c’è contraddizione tra il nostro mondo che segue le leggi della natura e il fatto che sappiamo una fiaba che ammette l’esistenza di fate e magia. Allo stesso modo non c’è contraddizione per un modello che considera diverse ipotesi di previsione, con ipotesi più e meno ottimistiche, in una catena di pensiero singola.

I modelli basati su BDH acquisiscono nuovi fatti durante la loro vita in modo contestualizzato. Possono auto-correggersi a causa di ciò. Esponendo statistiche facili da seguire dell’attività dei neuroni e un controllo granulare sul trasferimento delle conoscenze dal contesto ai parametri del modello, l’architettura aiuta a limitare il rischio di “contesti superati” che riemergono in un momento inopportuno.

Quali sono i compromessi di ingegneria nella costruzione di un motore di elaborazione dei dati in tempo reale che possa sostenere queste capacità su larga scala?

L’offerta aziendale di Pathway si basa sul motore di elaborazione dei dati più veloce sul mercato. Quel motore sostiene la nostra capacità di gestire input in tempo reale e di reagire a nuove informazioni con bassa latenza. Con il recente breakthrough di BDH, ci assicuriamo che questa adattabilità in tempo reale si estenda fino ai modelli di intelligenza artificiale fondamentali utilizzati nei deploy. Il nostro obiettivo generale per i deploy su larga scala è allontanarsi dall’ottimizzazione statica per costruire un’infrastruttura in grado di gestire il ragionamento a lungo termine.

Quali sono i casi d’uso più convincenti che richiedono veramente la prossima fase dell’intelligenza artificiale e dove i sistemi basati su Transformer attuali non sono all’altezza?

Molte innovazioni hanno esteso la funzionalità dell’intelligenza artificiale generativa per adattarsi rapidamente a nuove informazioni e per fare affidamento profondamente sul “tempo sul compito”, ma nulla è ancora in grado di sostituire l’assunzione di una persona altamente talentuosa.

La risposta molto rapida e diretta è che stiamo parlando di qualsiasi compito che attualmente richiede più di 2 ore e 17 minuti di lavoro coerente di un esperto umano. Questo è il limite attuale di GPT5 secondo METER.

Abbiamo avuto grandi discussioni con partner di design nel settore aziendale che richiedono una personalizzazione profonda, modelli che apprendono sul lavoro da dati scarsi e la sicurezza del deploy.

BDH rende relativamente semplice per un’azienda affrontare processi aziendali altamente complessi come:

• Chiudere un trimestre per un’azienda pubblica
• Generazione dinamica del prossimo miglior corso di azione in ambienti ad alto rischio è altamente rilevante sia nelle vendite che nella difesa.
• Gestione degli investimenti

La NATO sta già utilizzando la tecnologia di Pathway per elaborare dati militari e sociali in tempo reale, consentendo sistemi di pianificazione che si adattano man mano che le situazioni evolvono. La Poste sta utilizzando l’intelligenza artificiale live di Pathway per gestire dinamicamente le sue operazioni in tempo reale. Settori come la finanza e la sanità, dove i dati sono scarsi o sensibili, possono trarre vantaggio da modelli che richiedono meno dati ma forniscono approfondimenti più profondi e giudizi più affidabili.

Puoi condividere esempi di come organizzazioni come la NATO, La Poste o la Formula 1 hanno applicato la tua tecnologia e l’impatto che ha avuto?

La NATO, La Poste e le squadre di Formula 1 sono già early adopter della tecnologia di Pathway.

Pathway offre alla NATO una tecnologia di elaborazione dei dati robusta e innovativa per sbloccare nuove capacità per un uso critico su larga scala. Con il nostro dimostratore funzionale, lo Strumento di Simulazione di Abilitazione del Rinforzo (REST), abbiamo sviluppato il corner stone per ulteriori sviluppi di soluzioni di intelligenza artificiale supportate dalla NATO. Utilizzando Pathway per collegare i dati open source, abbiamo accelerato la consapevolezza della situazione e l’abbiamo portata al livello necessario che la NATO richiedeva per operare con successo negli anni ’20.

La Poste utilizza Pathway per migliorare i processi relativi alle sue unità di trasporto. Con Pathway Framework, La Poste anticipa le sue operazioni in modo automatico in tempo reale e genera un’analisi qualitativa live delle sue operazioni di trasporto. Con Pathway, l’azienda è stata in grado di ottimizzare la sua logistica in modo dinamico, riducendo i tempi di attesa, i tempi di elaborazione / tempi di lead e aumentando l’affidabilità. Inoltre, ha ottenuto riduzioni significative dei costi operativi (riduzione del 50% del TCO in alcuni casi).

La squadra di corsa di Formula 1 sfrutta Pathway per adattare la strategia in condizioni di alta pressione e in tempo reale. L’azienda voleva una piattaforma per gli utenti finali per creare Funzioni Definite dall’Utente (UDF) in modo indipendente e alimentare vari bisogni aziendali, dall’e-sport / sim-racing alle auto e alla corsa di Formula. Il Framework di Dati Live di Pathway consente trasformazioni di dati avanzate nella squadra di corsa di Formula 1 con la latenza più bassa (velocità di elaborazione 90 volte più veloce di prima).

Quali sono gli ostacoli più grandi per il deploy di sistemi adattivi in settori come la sanità o la difesa e come li affronti?

Per design, gli attuali LLM generano contenuti che sono “nuovi” senza giudizio reale – chiamatelo il ‘gen’ dell’intelligenza artificiale generativa. Molti settori altamente regolamentati necessitano di governance per definizione e sono riluttanti a deployare processi aziendali guidati dall’intelligenza artificiale senza ripetibilità, fiducia e osservabilità. Ironia della sorte, per deployare l’intelligenza artificiale, queste aziende spesso “semplificano” la funzionalità e introducono complessità aggiuntiva per facilitare la conformità alle normative.

Per design, BDH consente a un’azienda di osservare e adattarsi a ciò che sta accadendo all’interno del modello. Questa osservabilità su lunghi periodi di “ragionamento” dà all’azienda la fiducia per affrontare processi aziendali più lunghi e complessi. BDH è, per design, sia osservabile che consapevole del processo aziendale sull’asse del tempo. Nessun bisogno di set di dati enormi e perfetti per l’apprendimento, nessun bisogno di finestre di contesto estremamente lunghe o logica di collegamento per l’osservabilità.

Quali considerazioni etiche o salvaguardie sono essenziali mentre i sistemi di intelligenza artificiale iniziano ad apprendere e ad adattarsi in tempo reale?

I sistemi che apprendono con l’esperienza hanno in realtà migliori possibilità di essere sicuri rispetto a quelli attuali basati su Transformer. Un elemento di ciò è il fatto che con l’apprendimento continuo hanno la possibilità di auto-correggersi e aggiornare le loro pre-concezioni se erano sbagliate.

Per assicurare la sicurezza di tali sistemi, devono ricevere feedback nel tempo. Ciò significa che dobbiamo continuare a fornire loro dati freschi e potenzialmente assicurare loop di feedback per loro per capire gli effetti del loro stesso funzionamento. Ciò è vicino all’Apprendimento per Rinforzo.

In secondo luogo, un modello basato su BDH offre interpretabilità che rende più facile capire come funziona, dando agli umani un controllo migliore su di essi.

Cosa ci vorrebbe perché un paradigma “post-Transformer” diventi mainstream nell’intera comunità dell’intelligenza artificiale?

Un modello sul mercato che sia estremamente utile e abbia costi di inferenza significativamente più bassi mentre è più veloce. Crediamo che ci sia una vittoria di mercato da raggiungere, specialmente nel settore aziendale.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Pathway.