Noah Schwartz, medgrunnlegger og CEO av Quorum AI – Intervju-serie

Noah er en arkitekt for AI-systemer. Før han grunnla Quorum AI, tilbrakte Noah 12 år med akademisk forskning, først ved University of Southern California og senest ved Northwestern som nestleder for neurobiologi. Hans arbeid fokuserte på informasjonsbehandling i hjernen, og han har oversatt sin forskning til produkter innen augmented reality, hjernen-datamaskin-grensesnitt, datavisjon og innebygde robotkontrollsystemer.

Din interesse for AI og robotikk startet som en liten gutt. Hvordan ble du først introdusert for disse teknologiene?

Den første gnisten kom fra science fiction-filmer og en kjærlighet for elektronikk. Jeg husker å se filmen Tron som en 8-åring, fulgt av Electric Dreams, Short Circuit, DARYL, War Games og andre i de neste årene. Selv om det ble presentert gjennom fiksjon, var ideen om kunstig intelligens overveldende. Og selv om jeg bare var 8 år gammel, følte jeg en umiddelbar tilknytning og en intens trekk mot AI som aldri har avtatt siden.

Hvordan utviklet dine lidenskaper for både?

Min interesse for AI og robotikk utviklet seg parallelt med en lidenskap for hjernen. Min far var en biologilærer og underviste meg om kroppen, hvordan alt fungerte og hvordan alt var forbundet. Å se på AI og å se på hjernen føltes som samme problem for meg – eller i hvert fall, de hadde samme ultimate spørsmål, som var, Hvordan fungerer det? Jeg var interessert i begge, men jeg fikk ikke mye eksponering for AI eller robotikk på skolen. Av den grunn fortsatte jeg å arbeide med AI på min egen tid og studerte biologi og psykologi på skolen.

Når jeg kom til college, oppdaget jeg Parallel Distributed Processing (PDP) bøkene, som var enormt for meg. De var min første introduksjon til faktisk AI, som deretter ledet meg tilbake til klassikerne som Hebb, Rosenblatt og selv McCulloch og Pitts. Jeg begynte å bygge neurale nettverk basert på neuroanatomi og hva jeg lærte fra biologi- og psykologiklasser på skolen. Etter å ha avsluttet, arbeidet jeg som en datanettverksingeniør, bygget komplekse, vidstrakte nettverk og skrev programvare for å automatisere og håndtere trafikken på disse nettverkene – litt som å bygge store hjerner. Arbeidet gjenskapte min lidenskap for AI og motiverte meg til å gå tilbake til skolen for å studere AI og nevrovitenskap, og resten er historie.

Før du grunnla Quorum AI, tilbrakte du 12 år med akademisk forskning, først ved University of Southern California og senest ved Northwestern som nestleder for neurobiologi. På den tiden fokuserte ditt arbeid på informasjonsbehandling i hjernen. Kan du gå gjennom noen av denne forskningen?

I en bred forstand, var min forskning rettet mot å forstå spørsmålet: Hvordan gjør hjernen det den gjør med bare det den har tilgjengelig? For å starte, er jeg ikke enig i ideen om at hjernen er en type datamaskin (i von Neumann-sansen). Jeg ser på det som et massivt nettverk som hovedsakelig utfører stimulus-respons og signal-koding-operasjoner. Innenfor dette massive nettverket er det klare mønster av koblinger mellom funksjonelt spesialiserte områder. Når vi zoomer inn, ser vi at neuroner ikke bryr seg om hvilken signal de bærer eller hvilken del av hjernen de er i – de opererer basert på svært forutsigbare regler. Så hvis vi ønsker å forstå funksjonen til disse spesialiserte områdene, må vi stille noen spørsmål: (1) Når en innputt reiser gjennom nettverket, hvordan konvergerer den innputten med andre innputt for å produsere en beslutning? (2) Hvordan dannes strukturen til disse spesialiserte områdene som et resultat av erfaring? Og (3) hvordan fortsetter de å endre seg når vi bruker hjernen vår og lærer over tid? Min forskning prøvde å besvare disse spørsmålene ved å bruke en blanding av eksperimentell forskning kombinert med informasjonsteori og modellering og simulering – noe som kunne muliggjøre oss å bygge kunstige beslutningssystemer og AI. I nevrobiologisk sammenheng studerte jeg nevroplastisitet og mikroanatomi av spesialiserte områder som visuell cortex.

Du oversatte deretter ditt arbeid til augmented reality og hjernen-datamaskin-grensesnitt. Hva var noen av produktene du arbeidet på?

Rundt 2008 arbeidet jeg på et prosjekt som vi nå ville kalle augmented reality, men da var det bare et system for å spore og forutsi øyebevegelser, og deretter bruke disse forutsagnene til å oppdatere noe på skjermen. For å få systemet til å fungere i sanntid, bygde jeg en biologisk-inspirert modell som forutså hvor seeren ville basert på deres mikrosakader – små øyebevegelser som skjer rett før du flytter øyet ditt. Ved å bruke denne modellen, kunne jeg forutsi hvor seeren ville se, og deretter oppdatere rammebufferten i grafikkortet mens øynene deres fortsatt var i bevegelse. Når øynene deres nådde den nye lokasjonen på skjermen, var bildet allerede oppdatert. Teknologien var ganske fantastisk, men prosjektet gjorde det ikke gjennom til neste runde av finansiering, så det døde.

I 2011 gjorde jeg et mer fokusert forsøk på produktutvikling og bygde et neuralt nettverk som kunne utføre funksjonsoppdagelse på strømmende EEG-data som vi målte fra skalpen. Dette er kjernefunksjonen til de fleste hjernen-datamaskin-grensesnittsystemer. Prosjektet var også et eksperiment i hvordan liten en fotavtrykk kunne vi få dette til å kjøre på? Vi hadde en hodetelefon som leste noen kanaler av EEG-data på 400Hz som ble sendt via Bluetooth til en Android-telefon for funksjonsoppdagelse og klassifisering, og deretter sendt til en Arduino-drevet kontroller som vi retrofittet inn i en standard RC-bil. Når den var i bruk, kunne en person som bar EEG-hodetelefonen kjøre og styre bilen ved å endre sine tanker fra å gjøre mental matematikk til å synge en sang. Algoritmen kjørte på telefonen og skapte en personlig hjern “fingeravtrykk” for hver bruker, som muliggjorde at de kunne bytte mellom en rekke robotenheter uten å måtte trenere på hver enhet. Sloganen vi kom opp med var “Hjernen-styring møter Plug-and-Play”.

I 2012 utvidet vi systemet så det opererte på en mye mer distribuert måte på mindre maskinvare. Vi brukte det til å kontrollere en multi-segment, multi-ledd robotarm hvor hver segment ble kontrollert av en uavhengig prosessor som kjørte en innebygd versjon av AI. I stedet for å bruke en sentral kontroller til å manipulere armen, lot vi segmentene selvorganisere og nå målet i en sværme-lignende, distribuert måte. Med andre ord, som maur som danner en maurbro, ville armsegmentene samarbeide for å nå et mål i rommet.

Vi fortsatte å gå i samme retning når vi først lanserte Quorum AI – opprinnelig kjent som Quorum Robotics – tilbake i 2013. Vi innsett raskt at systemet var fantastisk på grunn av algoritmen og arkitekturen, ikke maskinvaren, så i slutten av 2014, skiftet vi fullstendig til programvare. Nå, 8 år senere, går Quorum AI full sirkel, tilbake til disse robotrotene ved å bruke vår ramme til NASA Space Robotics Challenge.

Å forlate jobben din som professor for å starte et startup hadde å være et vanskelig valg. Hva inspirerte deg til å gjøre dette?

Det var et massivt sprang for meg på mange måter, men når muligheten kom opp og veien ble klar, var det et enkelt valg. Når du er en professor, tenker du i flerårige tidsrammer og arbeider med svært lange forskningsmål. Å starte et startup er det eksakte motsatte av dette. Likevel er det en ting som akademisk liv og startup-liv har til felles, nemlig at begge krever at du må lære og løse problemer konstant. I et startup kan dette bety å prøve å omkonstruere en løsning for å redusere produktutviklingsrisiko eller kanskje studere en ny vertikal som kunne dra nytte av vår teknologi. Å arbeide med AI er det nærmeste jeg noen gang har kommet en “kallelse”, så til tross for alle utfordringene og opp- og ned-tur, føler jeg meg usedvanlig heldig å gjøre det arbeidet jeg gjør.

Du har siden da utviklet Quorum AI, som utvikler sanntids-, distribuert kunstig intelligens for alle enheter og plattformer. Kan du forklare hva denne AI-plattformen gjør?

Plattformen heter Environment for Virtual Agents (EVA), og den muliggjør at brukerne kan bygge, trene og distribuere modeller ved å bruke vår Engram AI-motor. Engram er en fleksibel og bærbar wrapper som vi bygde rundt våre usuperviserte læringsalgoritmer. Algoritmene er så effektive at de kan lære i sanntid, mens modellen genererer forutsagn. Fordi algoritmene er uavhengige av oppgaven, er det ingen eksplisitt inn- eller utgang til modellen, så forutsagn kan gjøres på en bayesisk måte for enhver dimensjon uten å måtte trenes på nytt og uten å lide under katastrofalt glemming. Modellene er også gjennomsiktige og dekomponerbare, noe som betyr at de kan undersøkes og deles inn i enkelt-dimensjoner uten å tape det som er lært.

Når modellene er bygget, kan de distribueres gjennom EVA til enhver type plattform, fra tilpasset innebygd maskinvare eller opp til skyen. EVA (og den innebygde vertprogramvaren) inneholder også flere verktøy for å utvide funksjonaliteten til hver modell. Noen få eksempler: Modeller kan deles mellom systemer gjennom et publisering/abonnementssystem, som muliggjør distribuerte systemer å oppnå føderert læring over både tid og rom. Modeller kan også distribueres som autonome agenter for å utføre vilkårlige oppgaver, og fordi modellen er uavhengig av oppgaven, kan oppgaven endres under kjøring uten å måtte trenes på nytt. Hver enkelt agent kan utvides med en privat “virtuell” EVA, som muliggjør at agenten kan simulere modeller av andre agenter på en skala-fri måte. Til slutt har vi skapt noen wrappers for dypt læring og forsterkingslæring (Keras-basert) systemer for å muliggjøre at disse modellene kan operere på plattformen, i koncert med mer fleksible Engram-baserte systemer.

Du har tidligere beskrevet Quorum AI-algoritmene som “matematisk poesi”. Hva mente du med dette?

Når du bygger en modell, enten du modellerer hjernen eller du modellerer salgsdata for din bedrift, begynner du med å ta en inventar av dine data, og deretter prøver du ut kjente klasser av modeller for å prøve å approksimere systemet. I essensen er du å lage grove skisser av systemet for å se hva som ser best ut. Du forventer ikke at tingene skal passe dataene svært godt, og det er noen prøving og feiling mens du tester ulike hypoteser om hvordan systemet fungerer, men med litt finesse kan du fange dataene ganske bra.

Da jeg modellerte nevroplastisitet i hjernen, startet jeg med den vanlige tilnærmingen til å kartlegge alle molekylære stier, overgangstilstander og dynamikk som jeg trodde ville være viktig. Men jeg fant at når jeg reduserte systemet til sine mest grunnleggende komponenter og ordnet disse komponentene på en bestemt måte, ble modellen mer og mer nøyaktig til den passet dataene nesten perfekt. Det var som om hver operator og variabel i ligningene var akkurat det de trengte å være, det var ingenting ekstra, og alt var essensielt for å passe dataene.

Når jeg plugget modellen inn i større og større simulasjoner, som visuell systemutvikling eller ansiktsgjenkjenning, for eksempel, var den i stand til å danne svært kompliserte koblingsmønster som matchet hva vi ser i hjernen. Fordi modellen var matematisk, kunne disse hjernemønstrene forstås gjennom matematisk analyse, og ga ny innsikt i hva hjernen lærer. Siden da har vi løst og forenklet differensialligningene som utgjør modellen, og forbedret beregnings-effektiviteten med flere størrelsesordener. Det kan kanskje ikke være faktisk poesi, men det føltes som det!

Quorum AI sin plattform-verktøy muliggjør at enheter kan koble seg til hverandre for å lære og dele data uten å måtte kommunisere gjennom sky-baserte servere. Hva er fordelen med å gjøre det på denne måten i stedet for å bruke skyen?

Vi gir brukerne muligheten til å plassere sin AI hvor de ønsker, uten å kompromittere funksjonaliteten til AI-en. Status quo i AI-utvikling er at selskaper vanligvis må kompromittere sikkerhet, personvern eller funksjonalitet fordi deres eneste valg er å bruke sky-baserte AI-tjenester. Hvis selskaper prøver å bygge sin egen AI internt, krever det ofte mye penger og tid, og avkastningen er sjelden verdt risikoen. Hvis selskaper ønsker å distribuere AI til enkelt-enheter som ikke er sky-tilkoblede, blir prosjektet raskt umulig. Som resultat blir AI-adoptsjon en fantasi.

Vår plattform gjør AI tilgjengelig og rimelig, og gir selskaper en måte å utforske AI-utvikling og -adoptsjon uten den tekniske eller finansielle overhodemerkosten. Og dessuten muliggjør vår plattform at brukerne kan gå fra utvikling til distribusjon i ett sammenhengende steg.

Vår plattform integrerer også med og utvider levetiden til andre “arv” modeller som dypt læring eller forsterkingslæring, og hjelper selskaper å gjenbruke og integrere eksisterende systemer i nye applikasjoner. Liksom fordi våre algoritmer og arkitekturer er unike, er våre modeller ikke svarte bokser, så alt som systemet lærer kan undersøkes og tolkes av mennesker, og deretter utvides til andre områder av bedriftene.

Det er trodd av noen at Distribuert Kunstig Intelligens (DAI) kan lede veien til Kunstig Generell Intelligens (AGI). Er du enig i denne teorien?

Ja, og ikke bare fordi det er den vei vi har satt oss selv! Når du ser på hjernen, er det ikke et monolitisk system. Det er sammensatt av separate, distribuerte systemer som hver spesialiserer seg i en smal rekke av hjernefunksjoner. Vi må kanskje ikke vite hva et bestemt system gjør, men vi vet at dens beslutninger avhenger betydelig av typen informasjon det mottar og hvordan den informasjonen endrer seg over tid. (Dette er hvorfor nevrovitenskapelige emner som connectome er så populære.)

I min mening, hvis vi ønsker å bygge AI som er fleksibel og som oppfører seg og fungerer som hjernen, så gjør det mening å vurdere distribuerte arkitekturer som de vi ser i hjernen. En kunne argumentere for at dypt læring-arkitekturer som flerlagrede nettverk eller CNN-er kan finnes i hjernen, og det er sant, men disse arkitekturer er basert på hva vi visste om hjernen 50 år siden.

Alternativet til DAI er å fortsette å iterere på monolitiske, infleksible arkitekturer som er tett koblet til en enkelt beslutningsrom, som de vi ser i dypt læring eller forsterkingslæring (eller noen supervisert læring-metode, for den saks skyld). Jeg ville foreslå at disse begrensningene ikke bare er et spørsmål om parameter-justering eller å legge til lag eller data-kondisjonering – disse problemene er grunnleggende for dypt læring og forsterkingslæring, som vi definerer dem i dag, så nye tilnærminger er nødvendige hvis vi skal fortsette å innovere og bygge AI-en til i morgen.

Tror du at å oppnå AGI ved hjelp av DAI er mer sannsynlig enn forsterkingslæring og/eller dypt læring-metoder som for tiden blir forfulgt av selskaper som OpenAI og DeepMind?

Ja, selv om jeg mistenker at OpenAI og DeepMind bruker mer distribuerte arkitekturer enn de lar påskine. Vi begynner å høre mer om fler-system-utfordringer som overføringslæring eller distribuert/føderert læring, og tilfeldigvis om hvordan dypt læring og forsterkingslæring-tilnærminger ikke vil fungere for disse utfordringene. Vi begynner også å høre fra pionerer som Yoshua Bengio om hvordan biologisk-inspirerte arkitekturer kunne brokke gapet! Jeg har arbeidet med biologisk-inspirert AI i nesten 20 år, så jeg føler meg svært god til hva vi har lært på Quorum AI og hvordan vi bruker det til å bygge hva vi tror er den neste generasjonen av AI som vil overvinne disse begrensningene.

Er det noe annet du ønsker å dele om Quorum AI?

Vi vil forhåndsvise vår nye plattform for distribuert og agent-basert AI på Federated and Distributed Machine Learning-konferansen i juni 2020. Under foredraget planlegger jeg å presentere noen nylig data på flere emner, inkludert stemningsanalyse som en bro til å oppnå empatisk AI.

Jeg ønsker å takke Noah for disse fantastiske svarene, og jeg ville anbefale at du besøker Quorum for å lære mer.