Noah Schwartz, Co-Fondatore & Amministratore Delegato di Quorum AI – Serie di Interviste

Noah è un architetto di sistemi di intelligenza artificiale. Prima di fondare Quorum AI, Noah ha trascorso 12 anni nella ricerca accademica, prima all’Università della California meridionale e più recentemente alla Northwestern come Vicepresidente di Neurobiologia. Il suo lavoro si è concentrato sull’elaborazione delle informazioni nel cervello e ha tradotto la sua ricerca in prodotti di realtà aumentata, interfacce cervello-computer, visione computerizzata e sistemi di controllo di robotica incorporata.

Il tuo interesse per l’IA e la robotica è iniziato quando eri un bambino. Come sei stato introdotto a queste tecnologie?

La scintilla iniziale proveniva da film di fantascienza e dall’amore per l’elettronica. Ricordo di aver guardato il film Tron, all’età di 8 anni, seguito da Electric Dreams, Short Circuit, DARYL, War Games e altri nei successivi anni. Anche se era presentato attraverso la finzione, l’idea stessa di intelligenza artificiale mi ha colpito. E anche se avevo solo 8 anni, ho sentito una connessione immediata e una forte attrazione per l’IA che non si è mai diminuita nel tempo.

Come sono evoluti i tuoi interessi per entrambi?

Il mio interesse per l’IA e la robotica si è sviluppato in parallelo con una passione per il cervello. Mio padre era un insegnante di biologia e mi insegnava sul corpo, su come funzionava tutto e su come era tutto collegato. Guardare l’IA e guardare il cervello mi sembrava lo stesso problema – o almeno, avevano la stessa domanda fondamentale, che era: Come funziona? Ero interessato a entrambi, ma non ho avuto molta esposizione all’IA o alla robotica a scuola. Per questo motivo, ho inizialmente perseguito l’IA nel mio tempo libero e ho studiato biologia e psicologia a scuola.

Quando sono arrivato al college, ho scoperto i libri di Parallel Distributed Processing (PDP), che è stato enorme per me. Sono stata la mia prima introduzione all’IA vera e propria, che mi ha poi portato ai classici come Hebb, Rosenblatt e anche McCulloch e Pitts. Ho iniziato a costruire reti neurali basate sulla neuroanatomia e su ciò che ho imparato dalle lezioni di biologia e psicologia a scuola. Dopo la laurea, ho lavorato come ingegnere di reti informatiche, costruendo reti complesse e ampie aree di rete e scrivendo software per automatizzare e gestire il flusso di traffico su quelle reti – un po’ come costruire grandi cervelli. Il lavoro ha riacceso la mia passione per l’IA e mi ha motivato ad andare alla scuola di specializzazione per studiare l’IA e le neuroscienze, e il resto è storia.

Prima di fondare Quorum AI, hai trascorso 12 anni nella ricerca accademica, prima all’Università della California meridionale e più recentemente alla Northwestern come Vicepresidente di Neurobiologia. Il tuo lavoro si è concentrato sull’elaborazione delle informazioni nel cervello. Puoi descrivere alcuni di questi studi?

In senso lato, la mia ricerca stava cercando di capire la domanda: Come fa il cervello a fare ciò che fa utilizzando solo ciò che ha a disposizione? Inizialmente, non credo che il cervello sia un tipo di computer (nel senso di von Neumann). Lo vedo come una rete enorme che esegue principalmente operazioni di stimolo-risposta e codifica del segnale. All’interno di questa rete enorme ci sono schemi di connettività chiari tra aree funzionalmente specializzate. Man mano che zoomiamo, vediamo che i neuroni non si curano del segnale che stanno trasportando o della parte del cervello in cui si trovano – operano in base a regole molto prevedibili. Quindi, se vogliamo capire la funzione di queste aree specializzate, dobbiamo porre alcune domande: (1) Come l’input converge con altri input per produrre una decisione? (2) Come la struttura di queste aree specializzate si forma a seguito dell’esperienza? E (3) come continuano a cambiare man mano che utilizziamo il nostro cervello e impariamo nel tempo? La mia ricerca ha cercato di affrontare queste domande utilizzando una miscela di ricerca sperimentale combinata con la teoria dell’informazione e la modellazione e la simulazione – qualcosa che potrebbe consentirci di costruire sistemi di decisione artificiali e IA. In termini di neurobiologia, ho studiato la neuroplasticità e la microanatomia di aree specializzate come la corteccia visiva.

Hai poi tradotto il tuo lavoro in realtà aumentata e interfacce cervello-computer. Quali sono stati alcuni dei prodotti su cui hai lavorato?

Intorno al 2008, stavo lavorando a un progetto che oggi chiameremmo realtà aumentata, ma all’epoca era solo un sistema per tracciare e prevedere i movimenti oculari e poi utilizzare quelle previsioni per aggiornare qualcosa sullo schermo. Per far funzionare il sistema in tempo reale, ho costruito un modello biologicamente ispirato che prevedeva dove l’utente avrebbe guardato in base ai suoi microsaccadi – piccoli movimenti oculari che si verificano subito prima di spostare l’occhio. Utilizzando questo modello, potevo prevedere dove l’utente avrebbe guardato e poi aggiornare il buffer dei frame nella scheda grafica mentre i suoi occhi erano ancora in movimento. Quando i suoi occhi raggiungevano quella nuova posizione sullo schermo, l’immagine era già aggiornata. La tecnologia era abbastanza incredibile, ma il progetto non è passato al turno successivo di finanziamento, quindi è morto.

Nel 2011, ho fatto uno sforzo più concentrato per lo sviluppo di prodotti e ho costruito una rete neurale che poteva eseguire la scoperta di caratteristiche su dati EEG in streaming che abbiamo misurato dal cuoio capelluto. Questa è la funzione principale della maggior parte dei sistemi di interfaccia cervello-computer. Il progetto è stato anche un esperimento su quanto piccolo potevamo rendere questo sistema? Avevamo un headset che leggeva alcuni canali di dati EEG a 400Hz che venivano inviati tramite Bluetooth a un telefono Android per la scoperta delle caratteristiche e la classificazione, e poi inviati a un controller Arduino che avevamo personalizzato in un’auto RC fuoriserie. Quando in uso, un utente che indossava il headset EEG poteva guidare e sterzare l’auto cambiando i suoi pensieri da fare calcoli mentali a cantare una canzone. L’algoritmo è stato eseguito sul telefono e ha creato un “impronta digitale” cerebrale personalizzata per ogni utente, consentendo loro di passare tra una varietà di dispositivi robotici senza dover riaddestrare su ogni dispositivo. Il nostro slogan era “Controllo del cervello incontra Plug-and-Play”.

Nel 2012, abbiamo esteso il sistema in modo che funzionasse in modo molto più distribuito su hardware più piccolo. L’abbiamo utilizzato per controllare un braccio robotico a multi-segmenti e multi-arti in cui ogni segmento era controllato da un processore indipendente che eseguiva una versione incorporata dell’IA. Invece di utilizzare un controller centralizzato per manipolare il braccio, abbiamo permesso ai segmenti di auto-organizzarsi e raggiungere il loro obiettivo in modo simile a uno sciame, in modo distribuito. In altre parole, come le formiche che formano un ponte di formiche, i segmenti del braccio cooperavano per raggiungere un obiettivo nello spazio.

Abbiamo continuato a muoverci in questa direzione quando abbiamo lanciato Quorum AI – originariamente noto come Quorum Robotics – nel 2013. Ci siamo resi conto rapidamente che il sistema era incredibile a causa dell’algoritmo e dell’architettura, non dell’hardware, quindi alla fine del 2014, ci siamo completamente spostati nel software. Ora, 8 anni dopo, Quorum AI sta tornando alle nostre radici robotiche applicando la nostra struttura alla SFIDA di robotica spaziale della NASA.

Abbandonare il tuo lavoro di professore per lanciare una startup doveva essere stata una decisione difficile. Cosa ti ha ispirato a farlo?

È stato un grande passo per me in molti sensi, ma una volta che l’opportunità si è presentata e il percorso è diventato chiaro, è stata una decisione facile. Quando sei un professore, pensi in termini di più anni e lavori su obiettivi di ricerca a lungo termine. Lanciare una startup è l’esatto opposto di questo. Tuttavia, una cosa che la vita accademica e la vita della startup hanno in comune è che entrambe richiedono di imparare e risolvere problemi costantemente. In una startup, potrebbe significare provare a ri-progettare una soluzione per ridurre il rischio di sviluppo del prodotto o forse studiare un nuovo settore che potrebbe trarre beneficio dalla nostra tecnologia. Lavorare nell’IA è la cosa più vicina a una “vocazione” che abbia mai sentito, quindi nonostante tutte le sfide e le altalene, mi sento immensamente fortunato a fare il lavoro che faccio.

Da allora hai sviluppato Quorum AI, che sviluppa intelligenza artificiale distribuita e in tempo reale per tutti i dispositivi e le piattaforme. Puoi descrivere cosa fa esattamente questa piattaforma di IA?

La piattaforma si chiama Ambiente per Agenti Virtuali (EVA) e consente agli utenti di costruire, addestrare e distribuire modelli utilizzando il nostro motore di intelligenza artificiale Engram. Engram è un wrapper flessibile e portabile che abbiamo costruito intorno ai nostri algoritmi di apprendimento non supervisionato. Gli algoritmi sono così efficienti che possono imparare in tempo reale, mentre il modello genera previsioni. Poiché gli algoritmi sono agnostici delle attività, non c’è un input o output esplicito al modello, quindi le previsioni possono essere fatte in modo bayesiano per qualsiasi dimensione senza riaddestramento e senza soffrire di dimenticanza catastrofica. I modelli sono anche trasparenti e decomponibili, quindi possono essere esaminati e smontati in dimensioni individuali senza perdere ciò che è stato appreso.

Una volta costruiti, i modelli possono essere distribuiti tramite EVA su qualsiasi tipo di piattaforma, che vada da hardware incorporato personalizzato a sistemi cloud. EVA (e il software host incorporabile) contengono anche diversi strumenti per estendere la funzionalità di ogni modello. Alcuni esempi rapidi: i modelli possono essere condivisi tra sistemi attraverso un sistema di pubblicazione/sottoscrizione, consentendo ai sistemi distribuiti di raggiungere l’apprendimento federato nel tempo e nello spazio. I modelli possono anche essere distribuiti come agenti autonomi per eseguire attività arbitrarie, e poiché il modello è agnostico delle attività, l’attività può essere cambiata durante l’esecuzione senza riaddestramento. Ogni agente individuale può essere esteso con un “virtuale” EVA privato, consentendo all’agente di simulare modelli di altri agenti in modo senza scala. Infine, abbiamo creato alcuni wrapper per sistemi di apprendimento profondo e di rinforzo (basati su Keras) per consentire a questi modelli di funzionare sulla piattaforma, insieme a sistemi più flessibili basati su Engram.

Hai precedentemente descritto gli algoritmi di Quorum AI come “poesia matematica”. Cosa intendevi?

Quando costruisci un modello, indipendentemente dal fatto che tu stia modellando il cervello o stia modellando dati di vendita per la tua azienda, inizi prendendo un inventario dei tuoi dati, poi provi a utilizzare classi di modelli noti per cercare di approssimare il sistema. In sostanza, stai creando schizzi grezzi del sistema per vedere cosa sembra meglio. Non ti aspetti che le cose si adattino ai dati molto bene, e c’è un po’ di prova e errore mentre testi diverse ipotesi su come funziona il sistema, ma con un po’ di abilità, puoi catturare i dati abbastanza bene.

Mentre modellavo la neuroplasticità nel cervello, ho iniziato con l’approccio usuale di mappare tutte le vie molecolari, gli stati di transizione e la dinamica che pensavo fossero importanti. Ma ho scoperto che quando riducevo il sistema ai suoi componenti più basilari e li organizzavo in un certo modo, il modello diventava sempre più preciso fino a quando non si adattava quasi perfettamente ai dati. Era come se ogni operatore e variabile nelle equazioni fossero esattamente ciò che dovevano essere, non c’era nulla in più, e tutto era essenziale per adattarsi ai dati.

Quando ho collegato il modello a simulazioni più grandi, come lo sviluppo del sistema visivo o il riconoscimento dei volti, ad esempio, è stato in grado di formare schemi di connettività molto complessi che corrispondevano a ciò che vediamo nel cervello. Poiché il modello era matematico, quei modelli cerebrali potevano essere compresi attraverso l’analisi matematica, fornendo nuove intuizioni su cosa stesse imparando il cervello. Da allora, abbiamo risolto e semplificato le equazioni differenziali che compongono il modello, migliorando l’efficienza computazionale di diversi ordini di grandezza. Potrebbe non essere vera poesia, ma si sentiva proprio così!

La piattaforma toolkit di Quorum AI consente ai dispositivi di connettersi l’uno all’altro per imparare e condividere dati senza dover comunicare attraverso server cloud. Quali sono i vantaggi di farlo in questo modo rispetto all’utilizzo del cloud?

Offriamo agli utenti la possibilità di mettere la loro IA ovunque vogliano, senza compromettere la funzionalità dell’IA. Lo standard attuale nello sviluppo dell’IA è che le aziende sono solitamente costrette a compromettere la sicurezza, la privacy o la funzionalità perché la loro unica opzione è utilizzare servizi di IA basati su cloud. Se le aziende cercano di costruire la loro IA in-house, spesso richiede molto denaro e tempo, e il ROI è raramente vale il rischio. Se le aziende vogliono distribuire l’IA a dispositivi che non sono connessi al cloud, il progetto diventa rapidamente impossibile. Di conseguenza, l’adozione dell’IA diventa un’utopia.

La nostra piattaforma rende l’IA accessibile e conveniente, dando alle aziende un modo per esplorare lo sviluppo e l’adozione dell’IA senza il sovraccarico tecnico o finanziario. E inoltre, la nostra piattaforma consente agli utenti di passare dallo sviluppo alla distribuzione in un unico passaggio senza soluzione di continuità.

La nostra piattaforma si integra anche con ed estende la durata di vita di altri modelli “legacy” come l’apprendimento profondo o l’apprendimento per rinforzo, aiutando le aziende a riutilizzare e integrare sistemi esistenti in nuove applicazioni. Allo stesso modo, poiché i nostri algoritmi e architetture sono unici, i nostri modelli non sono scatole nere, quindi tutto ciò che il sistema apprende può essere esaminato e interpretato dagli esseri umani, e poi esteso ad altre aree aziendali.

Si ritiene che l’Intelligenza Artificiale Distribuita (DAI) possa condurre alla strada per l’Intelligenza Artificiale Generale (AGI). Sottoscrivi questa teoria?

Sì, e non solo perché è il percorso che ci siamo prefissati! Quando guardi il cervello, non è un sistema monolitico. È composto da sistemi distribuiti separati che si specializzano in una gamma ristretta di funzioni cerebrali. Potremmo non sapere cosa stia facendo un particolare sistema, ma sappiamo che le sue decisioni dipendono in modo significativo dal tipo di informazione che sta ricevendo e da come quell’informazione cambia nel tempo. (È per questo che gli argomenti di neuroscienze come il connectome sono così popolari.)

A mio parere, se vogliamo costruire un’IA che sia flessibile e che si comporti e si esegua come il cervello, allora ha senso considerare architetture distribuite come quelle che vediamo nel cervello. Si potrebbe sostenere che le architetture di apprendimento profondo come le reti neurali multistrato o le CNN possono essere trovate nel cervello, e questo è vero, ma quelle architetture si basano su ciò che sapevamo sul cervello 50 anni fa.

L’alternativa alla DAI è continuare a iterare su architetture monolitiche e inflessibili che sono strettamente collegate a un unico spazio decisionale, come quelle che vediamo nell’apprendimento profondo o nell’apprendimento per rinforzo (o qualsiasi metodo di apprendimento supervisionato, per quanto mi riguarda). Suggerirei che queste limitazioni non sono solo una questione di regolazione dei parametri o di aggiunta di strati o di condizionamento dei dati – questi problemi sono fondamentali per l’apprendimento profondo e l’apprendimento per rinforzo, almeno come li definiamo oggi, quindi sono richiesti nuovi approcci se vogliamo continuare a innovare e costruire l’IA di domani.

Credi che raggiungere l’AGI utilizzando la DAI sia più probabile che l’apprendimento per rinforzo e / o i metodi di apprendimento profondo attualmente perseguiti da aziende come OpenAI e DeepMind?

Sì, anche se, da ciò che stanno scrivendo, sospetto che OpenAI e DeepMind stiano utilizzando architetture più distribuite di quanto lascino intendere. Stiamo iniziando a sentire di più su sfide multi-sistema come l’apprendimento del trasferimento o l’apprendimento federato / distribuito, e coincidentalmente, su come gli approcci di apprendimento profondo e di rinforzo non funzioneranno per queste sfide. Stiamo anche iniziando a sentire dai pionieri come Yoshua Bengio su come le architetture ispirate biologicamente potrebbero colmare il divario! Ho lavorato sull’IA ispirata biologicamente per quasi 20 anni, quindi mi sento molto bene su ciò che abbiamo imparato a Quorum AI e su come stiamo utilizzandolo per costruire ciò che crediamo sia la prossima generazione di IA che supererà queste limitazioni.

C’è qualcos’altro che ti piacerebbe condividere su Quorum AI?

Prevediamo di presentare la nostra nuova piattaforma per l’IA distribuita e basata su agenti alla Conferenza sull’apprendimento automatico federato e distribuito nel giugno 2020. Durante la presentazione, ho intenzione di presentare alcuni dati recenti su diversi argomenti, tra cui l’analisi del sentimento come ponte per raggiungere un’IA empatica.

Vorrei ringraziare Noah per queste risposte incredibili, e ti consiglio di visitare il Quorum per saperne di più.