Noah Schwartz, Co-Fondatore e Amministratore Delegato di Quorum AI – Serie di Interviste

Noah è un architetto di sistemi di intelligenza artificiale. Prima di fondare Quorum AI, Noah ha trascorso 12 anni nella ricerca accademica, prima all’Università della California del Sud e più recentemente alla Northwestern come Vicepresidente di Neurobiologia. Il suo lavoro si è concentrato sull’elaborazione delle informazioni nel cervello e ha tradotto la sua ricerca in prodotti di realtà aumentata, interfacce cervello-computer, visione computerizzata e sistemi di controllo robotico incorporato.

Il tuo interesse per l’AI e la robotica è iniziato quando eri un bambino. Come sei stato introdotto a queste tecnologie?

La scintilla iniziale è arrivata da film di fantascienza e dall’amore per l’elettronica. Ricordo di aver guardato il film Tron, all’età di 8 anni, seguito da Electric Dreams, Short Circuit, DARYL, War Games e altri nel corso degli anni successivi. Anche se era presentato attraverso la finzione, l’idea di intelligenza artificiale mi ha lasciato senza fiato. E anche se avevo solo 8 anni, ho sentito una connessione immediata e un’intensa attrazione verso l’AI che non si è mai diminuita nel tempo.

Come sono evoluti i tuoi interessi per l’AI e la robotica?

Il mio interesse per l’AI e la robotica si è sviluppato in parallelo con una passione per il cervello. Mio padre era un insegnante di biologia e mi insegnava come funzionava il corpo, come tutto era connesso e come funzionava. Guardare l’AI e guardare il cervello mi sembrava lo stesso problema – o almeno, avevano la stessa domanda ultima, che era: Come funziona? Ero interessato a entrambi, ma non ho avuto molta esposizione all’AI o alla robotica a scuola. Per questo motivo, ho inizialmente perseguito l’AI nel mio tempo libero e ho studiato biologia e psicologia a scuola.

Quando sono arrivato al college, ho scoperto i libri Parallel Distributed Processing (PDP), che è stato enorme per me. Sono stata la mia prima introduzione all’AI reale, che poi mi ha portato ai classici come Hebb, Rosenblatt e anche McCulloch e Pitts. Ho iniziato a costruire reti neurali basate sulla neuroanatomia e su ciò che ho imparato dalle lezioni di biologia e psicologia a scuola. Dopo la laurea, ho lavorato come ingegnere di reti informatiche, costruendo reti complesse e ampie aree di rete e scrivendo software per automatizzare e gestire il flusso di traffico su quelle reti – un po’ come costruire grandi cervelli. Il lavoro ha riacceso la mia passione per l’AI e mi ha motivato a frequentare la scuola di specializzazione per studiare l’AI e le neuroscienze, e il resto è storia.

Prima di fondare Quorum AI, hai trascorso 12 anni nella ricerca accademica, prima all’Università della California del Sud e più recentemente alla Northwestern come Vicepresidente di Neurobiologia. All’epoca, il tuo lavoro si è concentrato sull’elaborazione delle informazioni nel cervello. Puoi descrivere alcune di queste ricerche?

In senso lato, la mia ricerca stava cercando di capire la domanda: Come fa il cervello a fare ciò che fa utilizzando solo ciò che ha a disposizione? Inizialmente, non credo che il cervello sia un tipo di computer (nel senso di von Neumann). Lo vedo come una rete enorme che esegue principalmente operazioni di stimolo-risposta e di codifica del segnale. All’interno di questa rete enorme ci sono schemi di connessione chiari tra aree funzionalmente specializzate. Quando zoomiamo, vediamo che i neuroni non si curano del segnale che stanno trasportando o della parte del cervello in cui si trovano – operano in base a regole molto prevedibili. Quindi, se vogliamo capire la funzione di queste aree specializzate, dobbiamo porre alcune domande: (1) Come l’input converge con altri input per produrre una decisione? (2) Come la struttura di queste aree specializzate si forma a seguito dell’esperienza? E (3) come continuano a cambiare mentre utilizziamo il nostro cervello e impariamo nel tempo? La mia ricerca ha cercato di affrontare queste domande utilizzando una miscela di ricerca sperimentale combinata con la teoria dell’informazione e la modellazione e la simulazione – qualcosa che potrebbe consentirci di costruire sistemi decisionali artificiali e AI. In termini di neurobiologia, ho studiato la neuroplasticità e la microanatomia di aree specializzate come la corteccia visiva.

Poi hai tradotto il tuo lavoro in realtà aumentata e interfacce cervello-computer. Quali sono stati alcuni dei prodotti su cui hai lavorato?

Intorno al 2008, stavo lavorando a un progetto che oggi chiameremmo realtà aumentata, ma all’epoca era solo un sistema per tracciare e prevedere i movimenti oculari, e poi utilizzare quelle previsioni per aggiornare qualcosa sullo schermo. Per far funzionare il sistema in tempo reale, ho costruito un modello biologicamente ispirato che prevedeva dove l’utente avrebbe guardato in base ai suoi microsaccadi – piccoli movimenti oculari che si verificano subito prima di spostare l’occhio. Utilizzando questo modello, potevo prevedere dove l’utente avrebbe guardato, poi aggiornare il frame buffer nella scheda grafica mentre i suoi occhi erano ancora in movimento. Quando i suoi occhi raggiungevano quella nuova posizione sullo schermo, l’immagine era già stata aggiornata. Questo funzionava su un computer desktop ordinario nel 2008, senza alcun ritardo. La tecnologia era abbastanza incredibile, ma il progetto non è passato al turno successivo di finanziamenti, quindi è morto.

Nel 2011, ho fatto un tentativo più focalizzato di sviluppo di prodotti e ho costruito una rete neurale che poteva eseguire la scoperta di caratteristiche su dati EEG in streaming che abbiamo misurato dal cuoio capelluto. Questa è la funzione principale della maggior parte dei sistemi di interfaccia cervello-computer. Il progetto è stato anche un esperimento su quanto piccolo potevamo rendere questo sistema? Avevamo un headset che leggeva alcuni canali di dati EEG a 400Hz che venivano inviati via Bluetooth a un telefono Android per la scoperta di caratteristiche e la classificazione, poi inviati a un controller Arduino che avevamo personalizzato in un’auto RC di serie. Quando in uso, un individuo che indossava il headset EEG poteva guidare e sterzare l’auto cambiando i suoi pensieri da fare matematica mentale a cantare una canzone. L’algoritmo funzionava sul telefono e creava un “impronta digitale” del cervello personalizzata per ogni utente, consentendo loro di passare tra una varietà di dispositivi robotici senza dover riaddestrare su ogni dispositivo. Lo slogan che abbiamo creato era “Controllo del cervello incontra Plug-and-Play”.

Nel 2012, abbiamo esteso il sistema in modo che funzionasse in modo più distribuito su hardware più piccolo. L’abbiamo utilizzato per controllare un braccio robotico multi-segmento e multi-articolazione in cui ogni segmento era controllato da un processore indipendente che eseguiva una versione incorporata dell’AI. Invece di utilizzare un controller centralizzato per manipolare il braccio, abbiamo permesso ai segmenti di auto-organizzarsi e raggiungere il loro obiettivo in modo distribuito e simile a uno sciame. In altre parole, come le formiche che formano un ponte di formiche, i segmenti del braccio cooperavano per raggiungere un obiettivo nello spazio.

Siamo continuati in questa stessa direzione quando abbiamo lanciato Quorum AI – originariamente noto come Quorum Robotics – nel 2013. Ci siamo resi conto rapidamente che il sistema era incredibile a causa dell’algoritmo e dell’architettura, non dell’hardware, quindi alla fine del 2014, ci siamo completamente spostati nel software. Ora, 8 anni dopo, Quorum AI sta tornando alle sue radici robotiche applicando la nostra struttura alla SFIDA Robotica Spaziale della NASA.

Abituare il tuo lavoro di professore per lanciare una startup è dovuta essere una decisione difficile. Cosa ti ha ispirato a farlo?

È stato un grande passo per me in molti modi, ma una volta che l’opportunità si è presentata e il percorso è diventato chiaro, è stata una decisione facile. Quando sei un professore, pensi in termini di più anni e lavori su obiettivi di ricerca a lungo termine. Lanciare una startup è l’esatto opposto di questo. Tuttavia, una cosa che la vita accademica e la vita di startup hanno in comune è che entrambe richiedono di imparare e risolvere problemi costantemente. In una startup, potrebbe significare provare a ri-progettare una soluzione per ridurre il rischio di sviluppo del prodotto o forse studiare un nuovo settore verticale che potrebbe trarre beneficio dalla nostra tecnologia. Lavorare nell’AI è la cosa più vicina a una “vocazione” che abbia mai sentito, quindi nonostante tutte le sfide e le altalene, mi sento immensamente fortunato a fare il lavoro che faccio.

Dopo di che, hai sviluppato Quorum AI, che sviluppa intelligenza artificiale distribuita in tempo reale per tutti i dispositivi e le piattaforme. Puoi spiegare cosa fa esattamente questa piattaforma AI?

La piattaforma si chiama Environment for Virtual Agents (EVA) e consente agli utenti di costruire, addestrare e distribuire modelli utilizzando il nostro Engram AI Engine. Engram è un wrapper flessibile e portabile che abbiamo costruito intorno ai nostri algoritmi di apprendimento non supervisionato. Gli algoritmi sono così efficienti che possono imparare in tempo reale, mentre il modello genera previsioni. Poiché gli algoritmi sono agnostici delle attività, non c’è un input o output esplicito al modello, quindi le previsioni possono essere fatte in modo bayesiano per qualsiasi dimensione senza riaddestramento e senza soffrire di dimenticanza catastrofica. I modelli sono anche trasparenti e decomponibili, quindi possono essere esaminati e suddivisi in dimensioni individuali senza perdere ciò che è stato appreso.

Una volta costruiti, i modelli possono essere distribuiti tramite EVA su qualsiasi tipo di piattaforma, dalle hardware incorporate personalizzate fino al cloud. EVA (e il software host incorporabile) contengono anche diversi strumenti per estendere la funzionalità di ogni modello. Alcuni esempi rapidi: i modelli possono essere condivisi tra sistemi attraverso un sistema di pubblicazione/sottoscrizione, consentendo ai sistemi distribuiti di raggiungere l’apprendimento federato nel tempo e nello spazio. I modelli possono anche essere distribuiti come agenti autonomi per eseguire attività arbitrarie, e poiché il modello è agnostico delle attività, l’attività può essere cambiata durante l’esecuzione senza riaddestramento. Ogni agente individuale può essere esteso con una “virtuale” EVA privata, consentendo all’agente di simulare modelli di altri agenti in modo senza scala. Infine, abbiamo creato alcuni wrapper per sistemi di apprendimento profondo e di rinforzo (basati su Keras) per consentire a questi modelli di operare sulla piattaforma, in concerto con sistemi più flessibili basati su Engram.

Hai precedentemente descritto gli algoritmi di Quorum AI come “poesia matematica”. Cosa intendevi con questo?

Quando costruisci un modello, sia che stia modellando il cervello o stia modellando dati di vendita per la tua azienda, inizi prendendo un inventario dei tuoi dati, poi provi a utilizzare classi di modelli noti per cercare di approssimare il sistema. In sostanza, stai creando schizzi grezzi del sistema per vedere cosa sembra meglio. Non ti aspetti che le cose si adattino ai dati molto bene, e c’è un po’ di prova e errore mentre testi diverse ipotesi su come funziona il sistema, ma con un po’ di abilità, puoi catturare i dati abbastanza bene.

Quando ho iniziato a modellare la neuroplasticità nel cervello, ho iniziato con l’approccio usuale di mappare tutte le vie molecolari, gli stati di transizione e la dinamica che pensavo fossero importanti. Ma ho scoperto che quando riduco il sistema ai suoi componenti più basilari e li disposi in un certo modo, il modello è diventato sempre più preciso fino a quando non ha adattato i dati quasi perfettamente. È stato come se ogni operatore e variabile nelle equazioni fossero esattamente ciò di cui avevano bisogno, non c’era nulla in più, e tutto era essenziale per adattare i dati.

Quando ho collegato il modello a simulazioni più grandi, come lo sviluppo del sistema visivo o il riconoscimento dei volti, ad esempio, è stato in grado di formare schemi di connessione molto complessi che corrispondevano a ciò che vediamo nel cervello. Poiché il modello era matematico, quegli schemi cerebrali potevano essere compresi attraverso l’analisi matematica, fornendo nuove intuizioni su cosa stesse imparando il cervello. Da allora, abbiamo risolto e semplificato le equazioni differenziali che compongono il modello, migliorando l’efficienza computazionale di diversi ordini di grandezza. Potrebbe non essere vera poesia, ma si sentiva così!

La piattaforma toolkit di Quorum AI consente ai dispositivi di connettersi l’un l’altro per imparare e condividere dati senza dover comunicare attraverso server cloud-based. Quali sono i vantaggi di farlo in questo modo rispetto all’utilizzo del cloud?

Diamo agli utenti la possibilità di mettere la loro AI ovunque vogliano, senza compromettere la funzionalità dell’AI. Lo stato attuale nello sviluppo dell’AI è che le aziende sono solitamente costrette a compromettere la sicurezza, la privacy o la funzionalità perché la loro unica opzione è utilizzare servizi di AI basati su cloud. Se le aziende provano a costruire la loro AI in-house, spesso richiede molto denaro e tempo, e il ROI è raramente vale il rischio. Se le aziende vogliono distribuire l’AI a dispositivi individuali che non sono connessi al cloud, il progetto diventa rapidamente impossibile. Di conseguenza, l’adozione dell’AI diventa una fantasia.

La nostra piattaforma rende l’AI accessibile e conveniente, dando alle aziende un modo per esplorare lo sviluppo e l’adozione dell’AI senza il sovraccarico tecnico o finanziario. E inoltre, la nostra piattaforma consente agli utenti di passare dallo sviluppo alla distribuzione in un unico passaggio senza soluzione di continuità.

La nostra piattaforma si integra anche con e prolunga la durata di “legacy” modelli come l’apprendimento profondo o il rinforzo, aiutando le aziende a riutilizzare e integrare sistemi esistenti in nuove applicazioni. Allo stesso modo, poiché i nostri algoritmi e architetture sono unici, i nostri modelli non sono scatole nere, quindi tutto ciò che il sistema impara può essere esaminato e esteso da esseri umani ad altre aree aziendali.

Si ritiene che l’Intelligenza Artificiale Distribuita (DAI) possa condurre alla strada per l’Intelligenza Artificiale Generale (AGI). Sottoscrivi questa teoria?

Sì, e non solo perché è il percorso che abbiamo intrapreso per noi stessi! Quando guardi il cervello, non è un sistema monolitico. È composto da sistemi distribuiti separati che ciascuno si specializza in una gamma ristretta di funzioni cerebrali. Potremmo non sapere cosa stia facendo un particolare sistema, ma sappiamo che le sue decisioni dipendono in modo significativo dal tipo di informazione che sta ricevendo e da come quell’informazione cambia nel tempo. (È per questo che gli argomenti di neuroscienze come il connectome sono così popolari.)

Secondo me, se vogliamo costruire un’AI che sia flessibile e che si comporti e si esegua come il cervello, allora ha senso considerare architetture distribuite come quelle che vediamo nel cervello. Potremmo sostenere che le architetture di apprendimento profondo come le reti neurali multi-strato o le CNN possono essere trovate nel cervello, e questo è vero, ma quelle architetture si basano su ciò che sapevamo sul cervello 50 anni fa.

L’alternativa alla DAI è continuare a iterare su architetture monolitiche e inflessibili che sono strettamente collegate a un unico spazio decisionale, come quelle che vediamo nell’apprendimento profondo o nel rinforzo (o qualsiasi metodo di apprendimento supervisionato, per quanto riguarda). Suggerirei che queste limitazioni non sono solo una questione di regolazione dei parametri o di aggiunta di strati o di condizionamento dei dati – questi problemi sono fondamentali per l’apprendimento profondo e il rinforzo, almeno come li definiamo oggi, quindi sono richiesti nuovi approcci se vogliamo continuare a innovare e costruire l’AI di domani.

Credi che raggiungere l’AGI utilizzando la DAI sia più probabile che l’apprendimento per rinforzo e/o l’apprendimento profondo che sono attualmente perseguiti da aziende come OpenAI e DeepMind?

Sì, anche se, da ciò che stanno scrivendo, sospetto che OpenAI e DeepMind stiano utilizzando architetture più distribuite di quanto lascino intendere. Stiamo iniziando a sentire di più su sfide multi-sistema come l’apprendimento del trasferimento o l’apprendimento federato/distribuito, e incidentalmente, su come gli approcci di apprendimento profondo e di rinforzo non funzioneranno per queste sfide. Stiamo anche iniziando a sentire dai pionieri come Yoshua Bengio su come le architetture ispirate biologicamente potrebbero colmare il divario! Ho lavorato sull’AI ispirata biologicamente per quasi 20 anni, quindi mi sento molto bene su ciò che abbiamo imparato a Quorum AI e su come stiamo utilizzandolo per costruire ciò che crediamo sia la prossima generazione di AI che supererà queste limitazioni.

C’è qualcos’altro che vorresti condividere su Quorum AI?

Anteprima della nostra nuova piattaforma per AI distribuita e basata su agenti alla Conferenza sull’apprendimento federato e distribuito nel giugno 2020. Durante il discorso, ho intenzione di presentare alcuni dati recenti su diversi argomenti, tra cui l’analisi del sentimento come ponte per raggiungere l’AI empatica.

Vorrei ringraziare Noah per queste risposte incredibili, e vi consiglio di visitare il Quorum per saperne di più.