Noah Schwartz, medstifter og administrerende direktør for Quorum AI – Interviewserie

Noah er en systemarkitekt for kunstig intelligens. Før han stiftede Quorum AI, tilbragte Noah 12 år med akademisk forskning, først på University of Southern California og senest på Northwestern som viceformand for neurobiologi. Hans arbejde fokuserede på informationsbehandling i hjernen, og han har oversat sin forskning til produkter inden for forstærket virkelighed, hjernen-computer-grænseflader, computerseende og indlejret robotstyringssystemer.

Din interesse for kunstig intelligens og robotteknologi startede, da du var en lille dreng. Hvordan blev du først introduceret til disse teknologier?

Den første gnist kom fra science fiction-film og en kærlighed til elektronik. Jeg husker, at jeg så filmen Tron som 8-årig, efterfulgt af Electric Dreams, Short Circuit, DARYL, War Games og andre i de følgende år. Selv om det blev præsenteret gennem fiktion, var ideen om kunstig intelligens blot så overvældende. Og selv om jeg kun var 8 år gammel, følte jeg en umiddelbar forbindelse og en intens trækning mod kunstig intelligens, som aldrig er aftaget i tiden siden.

Hvordan udviklede dine passioner for både kunstig intelligens og robotteknologi?

Mit interesse for kunstig intelligens og robotteknologi udviklede sig parallelt med en passion for hjernen. Min far var biologilærer og underviste mig i, hvordan kroppen fungerer, og hvordan alt hænger sammen. At se på kunstig intelligens og se på hjernen føltes som det samme problem for mig – eller i hvert fald havde de samme ultimative spørgsmål, som var, Hvordan fungerer det? Jeg var interesseret i begge, men jeg fik ikke megen eksponering for kunstig intelligens eller robotteknologi i skolen. Derfor fulgte jeg kunstig intelligens på egen hånd og studerede biologi og psykologi i skolen.

Da jeg kom på universitetet, opdagede jeg Parallel Distributed Processing (PDP)-bøgerne, som var enorme for mig. De var min første introduktion til rigtig kunstig intelligens, som derefter førte mig tilbage til klassikerne som Hebb, Rosenblatt og sogar McCulloch og Pitts. Jeg begyndte at bygge neurale netværk baseret på neuroanatomi og det, jeg lærte fra biologi- og psykologiklasser i skolen. Efter at have taget eksamen arbejdede jeg som netværksingeniør, hvor jeg byggede komplekse, vidtstrakte netværk og skrev software til at automatisere og styre trafik på disse netværk – lidt ligesom at bygge store hjerner. Arbejdet genantændte min passion for kunstig intelligens og motiverede mig til at gå tilbage til universitetet for at studere kunstig intelligens og neurovidenskab, og resten er historie.

Før du stiftede Quorum AI, tilbragte du 12 år med akademisk forskning, først på University of Southern California og senest på Northwestern som viceformand for neurobiologi. På det tidspunkt fokuserede dit arbejde på informationsbehandling i hjernen. Kan du føre os igennem nogle af disse forskningsområder?

I bred forstand var mit forskning forsøg på at forstå spørgsmålet: Hvordan gør hjernen det, den gør, kun ved hjælp af, hvad den har til rådighed? For at starte med, er jeg ikke enig i, at hjernen er en type computer (i von Neumann-forstand). Jeg ser det som et massivt netværk, der primært udfører stimulus-respons- og signal-kodningsoperationer. Inden for dette massive netværk er der klare mønstre af forbindelser mellem funktionelt specialiserede områder. Når vi zoomer ind, ser vi, at neuroner ikke bekymrer sig om, hvilket signal de bærer, eller hvilken del af hjernen de er i – de opererer på basis af meget forudsigelige regler. Så hvis vi vil forstå funktionen af disse specialiserede områder, må vi stille nogle spørgsmål: (1) Hvordan konvergerer en indgang, der rejser gennem netværket, med andre indgange for at producere en beslutning? (2) Hvordan former struktur af disse specialiserede områder sig som resultat af erfaring? Og (3) hvordan fortsætter de med at ændre sig, mens vi bruger vores hjerner og lærer over tid? Mit forskning forsøgte at besvare disse spørgsmål ved hjælp af en blanding af eksperimentel forskning kombineret med informations-teori og modellering og simulation – noget, der kunne enable os til at bygge kunstige beslutningssystemer og kunstig intelligens. I neurobiologiske termer studerede jeg neuroplasticitet og mikroanatomi af specialiserede områder som den visuelle cortex.

Du oversatte derefter dit arbejde til forstærket virkelighed og hjernen-computer-grænseflader. Hvad var nogle af de produkter, du arbejdede på?

Omkring 2008 arbejdede jeg på et projekt, som vi i dag ville kalde forstærket virkelighed, men dengang var det bare et system til at spore og forudsige øjenbevægelser og derefter bruge disse forudsigelser til at opdatere noget på skærmen. For at få systemet til at fungere i realtid byggede jeg en biologisk inspireret model, der kunne forudsige, hvor betragteren ville være, baseret på deres mikrosakader – små øjenbevægelser, der sker lige før du flytter øjnene. Ved hjælp af denne model kunne jeg forudsige, hvor betragteren ville se, og derefter opdatere frame-bufferen i grafikkortet, mens øjnene stadig var i bevægelse. Inden øjnene nåede den nye placering på skærmen, var billedet allerede opdateret. Dette kørte på en almindelig desktop-computer i 2008 uden nogen forsinkelse. Teknologien var ret imponerende, men projektet fik ikke finansiering til næste runde, så det døde.

I 2011 gjorde jeg et mere fokuseret forsøg på produktudvikling og byggede et neuralt netværk, der kunne udføre funktionsoptimering på strømmende EEG-data, som vi målte fra skalpen. Dette er den grundlæggende funktion af de fleste hjernen-computer-grænseflade-systemer. Projektet var også et eksperiment i hvor lille en fodaftryk kunne vi få dette til at køre på? Vi havde en hovedtelefon, der læste få kanaler af EEG-data ved 400 Hz, som blev sendt via Bluetooth til en Android-telefon til funktionsoptimering og klassificering, og derefter sendt til en Arduino-drevet controller, som vi tilføjede til en standard RC-bil. Når i brug, kunne en person, der bar EEG-hovedtelefonen, køre og styre bilen ved at ændre sine tanker fra at lave mental matematik til at synge en sang. Algoritmen kørte på telefonen og skabte en personlig hjern “fingerprint” for hver bruger, hvilket enablede dem til at skifte mellem en række robotenheder uden at skulle genoptræne på hver enhed. Sloganet, vi kom op med, var “Hjernen-styring møder Plug-and-Play.”

I 2012 udvidede vi systemet, så det fungerede på en langt mere distribueret måde på mindre hardware. Vi brugte det til at styre en multi-segment, multi-ledet robotarm, hvor hvert segment blev styret af en uafhængig processor, der kørte en indlejret version af kunstig intelligens. I stedet for at bruge en central controller til at manipulere armen, tillod vi, at segmenterne selvorganiserede og nåede deres mål på en swarm-lignende, distribueret måde. Med andre ord, som myrer, der danner en myrebro, ville armsegmenterne samarbejde for at nå et mål i rummet.

Vi fortsatte med at bevæge os i samme retning, da vi først lancerede Quorum AI – oprindeligt kendt som Quorum Robotics – tilbage i 2013. Vi indså hurtigt, at systemet var fantastisk på grund af algoritmen og arkitekturen, ikke hårdwaren, så i slutningen af 2014 skiftede vi fuldstændigt til software. Nu, 8 år senere, er Quorum AI på vej tilbage til disse robot-rødder ved at anvende vores ramme til NASA Space Robotics Challenge.

At forlade dit job som professor for at lancere en startup må have været en svær beslutning. Hvad inspirerede dig til at gøre dette?

Det var et massivt spring for mig på mange måder, men når muligheden opstod, og vejen blev klar, var det en let beslutning. Når du er professor, tænker du i flerårige tidsrammer, og du arbejder på meget lange forskningsmål. At lancere en startup er det modsatte af det. Men en ting, som akademisk liv og startup-liv har til fælles, er, at begge kræver, at du lærer og løser problemer konstant. I en startup kan det betyde at prøve at genkonstruere en løsning for at reducere produktudviklingsrisiko eller måske studere en ny vertikal, som kan drage fordel af vores teknologi. At arbejde med kunstig intelligens er det tætteste, jeg nogensinde har følt på en “kaldning”, så trods alle udfordringerne og op- og nedturene, føler jeg mig utrolig heldig at gøre det arbejde, jeg gør.

Du har siden da udviklet Quorum AI, som udvikler realtids-, distribueret kunstig intelligens til alle enheder og platforme. Kan du forklare, hvad denne kunstige intelligens-platform gør?

Platformen kaldes Environment for Virtual Agents (EVA), og den enablede brugere til at bygge, træne og deployere modeller ved hjælp af vores Engram AI-motor. Engram er en fleksibel og bærbar wrapper, som vi byggede omkring vores unsupervisede læringsalgoritmer. Algoritmerne er så effektive, at de kan lære i realtid, mens modellen genererer forudsigelser. Fordi algoritmerne er opgave-agnostiske, er der ingen eksplisit indgang eller udgang til modellen, så forudsigelser kan gøres på en Bayesian måde for enhver dimension uden genoptræning og uden at lide under katastrofalt glemsomhed. Modellerne er også gennemsigtige og kan dekomponeres, hvilket betyder, at de kan undersøges og deles op i enkeltdele uden at miste, hvad der er lært.

Når modellerne er bygget, kan de deployes gennem EVA til enhver type platform, fra brugerdefineret indlejret hardware til skyen. EVA (og den indlejrede værtsoftware) indeholder også flere værktøjer til at udvide funktionaliteten af hver model. Et par hurtige eksempler: Modeller kan deles mellem systemer gennem en publicerings-/abonnements-system, hvilket enablede distribuerede systemer til at opnå federeret læring over både tid og rum. Modeller kan også deployes som autonome agenter til at udføre arbitrære opgaver, og fordi modellen er opgave-agnostisk, kan opgaven ændres under kørsel uden genoptræning. Hver enkelt agent kan udvides med en privat “virtuel” EVA, hvilket enablede agenten til at simulere modeller af andre agenter på en skala-fri måde. Til sidst har vi skabt nogle wrappers til dyb læring og forstærkning-læring (Keras-baseret) systemer til at enablede disse modeller til at fungere på platformen, i koncert med mere fleksible Engram-baserede systemer.

Du har tidligere beskrevet Quorum AI-algoritmerne som “matematisk poesi”. Hvad mente du med dette?

Når du bygger en model, enten du modelerer hjernen eller du modelerer salgsdata for din virksomhed, starter du med at tage en inventar af dine data, og derefter prøver du ud kendte klasser af modeller for at forsøge at approksimere systemet. I virkeligheden skaber du grove skitser af systemet for at se, hvad der ser bedst ud. Du forventer ikke, at tingene passer data meget godt, og der er noget trial og error, mens du tester forskellige hypoteser om, hvordan systemet fungerer, men med lidt finesse kan du fange data ret godt.

Da jeg modellerede neuroplasticitet i hjernen, startede jeg med den sædvanlige tilgang til at kortlægge alle molekylære vejledninger, overgangstilstande og dynamik, som jeg troede ville være vigtige. Men jeg fandt ud af, at når jeg reducerede systemet til dets mest grundlæggende komponenter og arrangerede disse komponenter på en bestemt måde, blev modellen mere og mere præcis, indtil den passede data næsten perfekt. Det var, som om hver operator og variabel i ligningerne var præcis, hvad de skulle være, der var intet ekstra, og alt var essentielt for at passe data.

Når jeg pluggede modellen ind i større og større simulationer, som visuel systemudvikling eller ansigtsgenkendelse, for eksempel, kunne den danne ekstremt komplicerede forbindelsesmønstre, som matchede, hvad vi ser i hjernen. Fordi modellen var matematisk, kunne disse hjernemønstre forstås gennem matematisk analyse, hvilket gav ny indsigt i, hvad hjernen lærer. Siden da har vi løst og forenklet de differentialligninger, der udgør modellen, og forbedret beregnings-effektiviteten med flere størrelsesordener. Det må ikke være rigtig poesi, men det føltes som det!

Quorum AI’s platform-værktøj enablede enheder til at forbinde sig til hinanden for at lære og dele data uden at skulle kommunikere gennem cloud-baserede servere. Hvad er fordelene ved at gøre det på denne måde i stedet for at bruge skyen?

Vi giver brugerne mulighed for at placere deres kunstig intelligens hvor som helst de ønsker, uden at gå på kompromis med funktionaliteten af kunstig intelligens. Status quo i kunstig intelligens-udvikling er, at virksomheder normalt er tvunget til at gå på kompromis med sikkerhed, privatliv eller funktionalitet, fordi deres eneste mulighed er at bruge cloud-baserede kunstig intelligens-tjenester. Hvis virksomheder forsøger at bygge deres egen kunstig intelligens internt, kræver det ofte meget penge og tid, og ROI’en er sjældent værd risikoen. Hvis virksomheder ønsker at deployere kunstig intelligens til individuelle enheder, der ikke er cloud-tilsluttede, bliver projektet hurtigt umuligt. Som resultat bliver kunstig intelligens-adoption en fantasi.

Vores platform gør kunstig intelligens tilgængelig og billig, og giver virksomheder en måde til at udforske kunstig intelligens-udvikling og -adoption uden den tekniske eller finansielle overhæng. Og desuden enablede vores platform brugere til at gå fra udvikling til deployment i ét sammenhængende trin.

Vores platform integrerer også med og udvider levetiden for andre “arv”-modeller som dyb læring eller forstærkning-læring, hvilket hjælper virksomheder med at genbruge og integrere eksisterende systemer i nye anvendelser. Ligesom vores algoritmer og arkitekturer er unikke, så vores modeller er ikke sorte kasser, så alt, som systemet lærer, kan undersøges og fortolkes af mennesker, og derefter udvides til andre områder af virksomheden.

Nogle mener, at distribueret kunstig intelligens (DAI) kan føre vejen til kunstig generel intelligens (AGI). Er du enig i denne teori?

Ja, og ikke kun fordi det er den vej, vi har sat os for! Når du ser på hjernen, er det ikke et monolitisk system. Det består af separate, distribuerede systemer, der hver især specialiserer sig i en snæver række af hjernefunktioner. Vi må ikke nødvendigvis vide, hvad et bestemt system gør, men vi ved, at dets beslutninger afhænger betydeligt af den type information, det modtager, og hvordan den information ændrer sig over tid. (Det er derfor, at neurovidenskabelige emner som connectomet er så populære.)

I min mening, hvis vi vil bygge kunstig intelligens, der er fleksibel og som opfører sig og fungerer som hjernen, så giver det mening at overveje distribuerede arkitekturer som dem, vi ser i hjernen. Man kunne argumentere for, at dyb læring-arkitekturer som multi-lag-netværk eller CNN’er kan findes i hjernen, og det er sandt, men disse arkitekturer er baseret på, hvad vi vidste om hjernen for 50 år siden.

Alternativet til DAI er at fortsætte med at iterere på monolitiske, infleksible arkitekturer, der er tæt koblet til et enkelt beslutningsrum, som dem, vi ser i dyb læring eller forstærkning-læring (eller enhver overvåget læring-metode, for den sags skyld). Jeg ville foreslå, at disse begrænsninger ikke kun er et spørgsmål om parameter-justering eller tilføjelse af lag eller data-konditionering – disse problemer er fundamentale for dyb læring og forstærkning-læring, i hvert fald som vi definerer dem i dag, så nye tilgange er nødvendige, hvis vi skal fortsætte med at innovere og bygge kunstig intelligens i morgen.

Tror du, at opnåelse af AGI ved hjælp af DAI er mere sandsynlig end forstærkning-læring og/eller dyb læring-metoder, der i øjeblikket er under udvikling af virksomheder som OpenAI og DeepMind?

Ja, selv om det, de blogger om, antyder, at OpenAI og DeepMind bruger mere distribuerede arkitekturer, end de giver udtryk for. Vi begynder at høre mere om multi-system-udfordringer som overførselslæring eller distribueret/federeret læring, og samtidig om, hvordan dyb læring og forstærkning-læring-tilgange ikke vil fungere for disse udfordringer. Vi begynder også at høre fra pionerer som Yoshua Bengio om, hvordan biologisk inspirerede arkitekturer kunne brobygge kløften! Jeg har arbejdet med biologisk inspireret kunstig intelligens i næsten 20 år, så jeg føler mig ret godt tilpas med, hvad vi har lært på Quorum AI, og hvordan vi bruger det til at bygge, hvad vi mener er den næste generation af kunstig intelligens, der vil overvinde disse begrænsninger.

Er der noget andet, du gerne vil dele om Quorum AI?

Vi vil præsentere vores nye platform for distribueret og agent-baseret kunstig intelligens på Federeret og Distribueret Machine Learning-konferencen i juni 2020. Under foredraget planlægger jeg at præsentere nogle nyeste data på flere emner, herunder sentiment-analyse som en bro til at opnå empatisk kunstig intelligens.

Jeg vil gerne takke Noah for disse fantastiske svar, og jeg anbefaler, at du besøger Quorum for at lære mere.