Noah Schwartz, medgrundare och VD för Quorum AI – Intervjuserie

Noah är en systemarkitekt för AI. Innan han grundade Quorum AI tillbringade Noah 12 år med akademisk forskning, först vid University of Southern California och senast vid Northwestern som biträdande ordförande för neurobiologi. Hans arbete fokuserade på informationsbearbetning i hjärnan och han har översatt sin forskning till produkter inom förstärkt verklighet, gränssnitt för hjärna och dator, datorseende och inbyggda robotiksystem.

Din intresse för AI och robotik började när du var liten. Hur blev du först introducerad till dessa tekniker?

Den första gnistan kom från science fiction-filmer och en kärlek till elektronik. Jag minns att jag såg filmen Tron som 8-åring, följt av Electric Dreams, Short Circuit, DARYL, War Games och andra under de närmaste åren. Även om det presenterades genom fiktion, var idén om artificiell intelligens slående. Och även om jag bara var 8 år gammal, kände jag en omedelbar koppling och en intensiv dragning till AI som aldrig har minskat sedan dess.

Hur utvecklades dina passioner för både?

Mitt intresse för AI och robotik utvecklades parallellt med en passion för hjärnan. Min pappa var en biologilärare och undervisade mig om kroppen, hur allt fungerade och hur allt var kopplat. Att titta på AI och titta på hjärnan kändes som samma problem för mig – eller åtminstone hade de samma ultimata fråga, som var: Hur fungerar det? Jag var intresserad av båda, men jag fick inte mycket exponering för AI eller robotik i skolan. Därför fortsatte jag att studera AI på egen hand och studerade biologi och psykologi i skolan.

När jag kom till college upptäckte jag Parallel Distributed Processing (PDP)-böckerna, som var enormt viktiga för mig. De var min första introduktion till riktig AI, som sedan ledde mig tillbaka till klassikerna som Hebb, Rosenblatt och till och med McCulloch och Pitts. Jag började bygga neurala nätverk baserade på neuroanatomi och vad jag lärde mig från biologi- och psykologikurser i skolan. Efter examen arbetade jag som nätverksingenjör, byggde komplexa, stora nätverk och skrev programvara för att automatisera och hantera trafikflöde på dessa nätverk – lite som att bygga stora hjärnor. Arbetet återupplivade min passion för AI och motiverade mig att gå tillbaka till skolan för att studera AI och neurovetenskap, och resten är historia.

Före du grundade Quorum AI tillbringade du 12 år med akademisk forskning, först vid University of Southern California och senast vid Northwestern som biträdande ordförande för neurobiologi. Ditt arbete fokuserade på informationsbearbetning i hjärnan. Kan du gå igenom några av dessa forskningar?

I en bred bemärkelse försökte min forskning förstå frågan: Hur gör hjärnan vad den gör med vad den har tillgängligt? Först och främst tror jag inte att hjärnan är en typ av dator (i von Neumanns mening). Jag ser det som ett stort nätverk som främst utför stimulus-svar och signal-kodningsoperationer. Inom detta stora nätverk finns det tydliga mönster av koppling mellan funktionellt specialiserade områden. När vi zoomar in ser vi att neuroner inte bryr sig om vilken signal de bär eller vilken del av hjärnan de är i – de fungerar baserat på mycket förutsägbara regler. Så om vi vill förstå funktionen hos dessa specialiserade områden måste vi ställa några frågor: (1) När en ingång reser sig genom nätverket, hur konvergerar den med andra ingångar för att producera ett beslut? (2) Hur formas strukturen hos dessa specialiserade områden som ett resultat av erfarenhet? Och (3) hur fortsätter de att förändras när vi använder våra hjärnor och lär oss över tid? Min forskning försökte besvara dessa frågor med hjälp av en blandning av experimentell forskning kombinerad med informationsteori och modellering och simulering – något som kunde möjliggöra att bygga artificiella beslutsystem och AI. I neurobiologiska termer studerade jag neuroplasticitet och mikroanatomi av specialiserade områden som den visuella cortex.

Sedan översatte du ditt arbete till förstärkt verklighet och gränssnitt för hjärna och dator. Vilka var några av de produkter du arbetade med?

Omkring 2008 arbetade jag på ett projekt som vi idag skulle kalla förstärkt verklighet, men på den tiden var det bara ett system för att spåra och förutsäga ögonrörelser och sedan använda dessa förutsägelser för att uppdatera något på skärmen. För att göra systemet fungera i realtid byggde jag en biologiskt inspirerad modell som förutsåg var tittaren skulle baserat på deras mikrosaccader – små ögonrörelser som inträffar strax innan du flyttar ditt öga. Med hjälp av denna modell kunde jag förutsäga var tittaren skulle titta och sedan uppdatera framebufferten i grafikkortet medan deras ögon fortfarande var i rörelse. När deras ögon nådde den nya platsen på skärmen var bilden redan uppdaterad. Detta körde på en vanlig stationär dator 2008, utan någon fördröjning. Tekniken var ganska fantastisk, men projektet fick inte finansiering för att fortsätta, så det dog.

2011 gjorde jag ett mer fokuserat försök att utveckla produkter och byggde ett neuralt nätverk som kunde utföra funktionssökning på strömmande EEG-data som vi mätte från skalpen. Detta är den grundläggande funktionen hos de flesta gränssnitt för hjärna och dator. Projektet var också ett experiment i hur liten fotavtryck kunde vi få det att köra på? Vi hade en hjälm som läste några kanaler av EEG-data vid 400 Hz som skickades via Bluetooth till en Android-telefon för funktionssökning och klassificering, sedan skickades till en Arduino-styrd kontroller som vi ombyggde i en färdig RC-bil. När den användes kunde en person som bar EEG-hjälmen köra och styra bilen genom att ändra sina tankar från att göra mental matematik till att sjunga en sång. Algoritmen körde på telefonen och skapade en personlig “hjärnfingeravtryck” för varje användare, vilket möjliggjorde för dem att växla mellan olika robotenheter utan att behöva omträna på varje enhet. Sloganen vi kom med var “Hjärnkontroll möter Plug-and-Play”.

2012 utvidgade vi systemet så att det fungerade på ett mer distribuerat sätt på mindre hårdvara. Vi använde det för att styra en multi-segment, multi-ledad robotarm där varje segment styrdes av en oberoende processor som körde en inbyggd version av AI. Istället för att använda en central kontroller för att manipulera armen, tillät vi segmenten att självorganisera och nå sitt mål på ett sätt som liknade en svärm, ett distribuerat sätt. Med andra ord, som myror som bildar en myrbro, skulle armsegmenten samarbeta för att nå ett mål i rummet.

Vi fortsatte att gå i samma riktning när vi först lanserade Quorum AI – ursprungligen känd som Quorum Robotics – 2013. Vi insåg snabbt att systemet var fantastiskt på grund av algoritmen och arkitekturen, inte hårdvaran, så sent 2014 vände vi oss helt till programvara. Nu, 8 år senare, är Quorum AI på väg tillbaka till sina robotiska rötter genom att tillämpa vår ram på NASA Space Robotics Challenge.

Att sluta ditt jobb som professor för att starta ett företag måste ha varit ett svårt beslut. Vad inspirerade dig att göra detta?

Det var ett enormt steg för mig på många sätt, men när möjligheten uppstod och vägen blev tydlig, var det ett lätt beslut. När du är professor tänker du i flerårsperioder och du arbetar med mycket långsiktiga forskningsmål. Att starta ett företag är det exakta motsatsen till det. Men en sak som akademiskt liv och företagsliv har gemensamt är att båda kräver att du lär dig och löser problem konstant. I ett företag kan det betyda att försöka omkonstruera en lösning för att minska produktutvecklingsrisk eller kanske studera en ny vertikal som kan dra nytta av vår teknik. Att arbeta med AI är det närmaste jag har kommit till en “kallelse” som jag någonsin har känt, så trots alla utmaningar och upp- och nedgångar, känner jag mig oerhört lycklig att göra det arbete jag gör.

Sedan dess har du utvecklat Quorum AI, som utvecklar realtids, distribuerad artificiell intelligens för alla enheter och plattformar. Kan du förklara vad denna AI-plattform gör?

Plattformen kallas Miljö för Virtuella Agenter (EVA), och den möjliggör för användare att bygga, träna och distribuera modeller med hjälp av vår Engram AI-motor. Engram är en flexibel och bärbar omslutning som vi byggde runt våra oövervakade inlärningsalgoritmer. Algoritmerna är så effektiva att de kan lära sig i realtid, medan modellen genererar förutsägelser. Eftersom algoritmerna är uppgiftsagnostiska, finns det ingen explicit in- eller utdata till modellen, så förutsägelser kan göras på ett bayesiskt sätt för vilken dimension som helst utan omträning och utan att lida av katastrofalt glömska. Modellerna är också transparenta och dekomponerbara, vilket innebär att de kan undersökas och brytas ned i enskilda dimensioner utan att förlora vad som har lärt sig.

När modellerna väl är byggda kan de distribueras via EVA till vilken plattform som helst, från anpassad inbyggd hårdvara till molnet. EVA (och den inbäddade värdprogramvaran) innehåller också flera verktyg för att utöka modellens funktionalitet. Några snabba exempel: Modeller kan delas mellan system via ett publicerings-/prenumerationssystem, vilket möjliggör distribuerade system att uppnå federerat lärande över både tid och rum. Modeller kan också distribueras som autonoma agenter för att utföra godtyckliga uppgifter, och eftersom modellen är uppgiftsagnostisk, kan uppgiften ändras under körning utan omträning. Varje enskild agent kan utökas med en privat “virtuell” EVA, vilket möjliggör för agenten att simulera modeller av andra agenter på ett skalfritt sätt. Slutligen har vi skapat vissa omslutningar för djupinlärning och förstärkt inlärning (Keras-baserade) system för att möjliggöra att dessa modeller kan fungera på plattformen, i koncert med mer flexibla Engram-baserade system.

Du har tidigare beskrivit Quorum AI-algoritmerna som “matematisk poesi”. Vad menade du med detta?

När du bygger en modell, oavsett om du modellerar hjärnan eller om du modellerar försäljningsdata för ditt företag, börjar du med att ta en inventering av dina data, sedan provar du ut kända klasser av modeller för att försöka approximera systemet. I grund och botten skapar du grova skisser av systemet för att se vad som ser bäst ut. Du förväntar dig inte att saker och ting ska passa datan särskilt bra, och det finns en viss trial-and-error när du testar olika hypoteser om hur systemet fungerar, men med lite finess kan du fånga datan ganska bra.

När jag modellerade neuroplasticitet i hjärnan började jag med den vanliga metoden att kartlägga alla molekylära vägar, övergångstillstånd och dynamik som jag trodde skulle vara viktiga. Men jag upptäckte att när jag reducerade systemet till dess mest grundläggande komponenter och arrangerade dessa komponenter på ett visst sätt, blev modellen mer och mer exakt tills den passade datan nästan perfekt. Det var som om varje operator och variabel i ekvationerna var exakt vad de behövde vara, det fanns ingenting extra, och allt var avgörande för att passa datan.

När jag anslöt modellen till större och större simuleringar, som till exempel utveckling av synsystemet eller ansiktsigenkänning, kunde den bilda extremt komplicerade kopplingsmönster som matchade vad vi ser i hjärnan. Eftersom modellen var matematisk, kunde dessa hjärnmönster förstås genom matematisk analys, vilket gav ny insikt i vad hjärnan lär sig. Sedan dess har vi löst och förenklat de differentialekvationer som utgör modellen, vilket har förbättrat beräknings-effektiviteten med flera storleksordningar. Det kanske inte är riktig poesi, men det kändes verkligen som det!

Quorum AI:s plattformverktyg möjliggör för enheter att ansluta till varandra för att lära sig och dela data utan att behöva kommunicera via molnbaserade servrar. Vilka är fördelarna med att göra det på detta sätt jämfört med att använda molnet?

Vi ger användarna möjligheten att placera sin AI var de vill, utan att kompromissa med funktionen. Status quo i AI-utveckling är att företag vanligtvis tvingas kompromissa med säkerhet, integritet eller funktion eftersom deras enda alternativ är att använda molnbaserade AI-tjänster. Om företag försöker bygga sin egen AI internt, kräver det ofta mycket pengar och tid, och avkastningen är sällan värd risken. Om företag vill distribuera AI till enskilda enheter som inte är molnanslutna, blir projektet snabbt omöjligt. Som ett resultat blir AI-antagande en fantasi.

Vår plattform gör AI tillgänglig och prisvärd, vilket ger företag en möjlighet att utforska AI-utveckling och antagande utan den tekniska eller finansiella överbelastningen. Och dessutom möjliggör vår plattform för användare att gå från utveckling till distribution i ett enda, sömlöst steg.

Vår plattform integrerar också med och förlänger livslängden på andra “äldre” modeller som djupinlärning eller förstärkt inlärning, vilket hjälper företag att återanvända och integrera befintliga system i nya tillämpningar. På samma sätt, eftersom våra algoritmer och arkitekturer är unika, är våra modeller inte svarta lådor, så allt som systemet lär sig kan undersökas och tolkas av människor, och sedan utökas till andra områden inom företaget.

Det anses av vissa att distribuerad artificiell intelligens (DAI) kan leda vägen till artificiell allmän intelligens (AGI). Ansluter du dig till denna teori?

Ja, och inte bara för att det är den väg vi har valt för oss själva! När du tittar på hjärnan, är den inte ett monolitiskt system. Den består av separata, distribuerade system som var och en specialiserar sig på en smal uppsättning hjärnfunktioner. Vi kanske inte vet vad ett visst system gör, men vi vet att dess beslut beror till stor del på den typ av information det tar emot och hur den informationen förändras över tid. (Det är därför neurovetenskapliga ämnen som connectome är så populära.)

I min åsikt, om vi vill bygga AI som är flexibel och som beter sig och presterar som hjärnan, då är det rimligt att överväga distribuerade arkitekturer som de vi ser i hjärnan. Man kunde hävda att djupinlärningsarkitekturer som multi-lagers nätverk eller CNN:er kan hittas i hjärnan, och det är sant, men dessa arkitekturer är baserade på vad vi visste om hjärnan 50 år sedan.

Alternativet till DAI är att fortsätta iterera på monolitiska, inflexibla arkitekturer som är tätt kopplade till ett enda beslutsutrymme, som de vi ser i djupinlärning eller förstärkt inlärning (eller någon övervakad inlärningsmetod, för den delen). Jag skulle föreslå att dessa begränsningar inte bara är en fråga om parametertweaking eller att lägga till lager eller datakonditionering – dessa problem är grundläggande för djupinlärning och förstärkt inlärning, åtminstone som vi definierar dem idag, så nya tillvägagångssätt krävs om vi ska fortsätta att innovativa och bygga AI för morgondagen.

Tror du att att uppnå AGI med hjälp av DAI är mer sannolikt än förstärkt inlärning och/eller djupinlärningsmetoder som för närvarande används av företag som OpenAI och DeepMind?

Ja, även om jag misstänker att OpenAI och DeepMind använder mer distribuerade arkitekturer än de låter på. Vi börjar höra mer om multi-system-utmaningar som transfer learning eller federerat/distribuerat lärande, och samtidigt om hur djupinlärnings- och förstärkt inlärningsmetoder inte kommer att fungera för dessa utmaningar. Vi börjar också höra från pionjärer som Yoshua Bengio om hur biologiskt inspirerade arkitekturer kunde brottas över klyftan! Jag har arbetat med biologiskt inspirerad AI i nästan 20 år, så jag känner mig mycket bra till vad vi har lärt oss på Quorum AI och hur vi använder det för att bygga vad vi tror är nästa generations AI som kommer att övervinna dessa begränsningar.

Finns det något annat du vill dela om Quorum AI?

Vi kommer att förhandsvisa vår nya plattform för distribuerad och agentbaserad AI på Federated and Distributed Machine Learning Conference i juni 2020. Under föreläsningen planerar jag att presentera några senaste data på flera ämnen, inklusive sentimentanalys som en bro till att uppnå empatisk AI.

Jag vill tacka Noah för dessa fantastiska svar, och jag rekommenderar att du besöker Quorum för att lära dig mer.