Noah Schwartz, mede-oprichter en CEO van Quorum AI - Interviewreeks

Noah is een AI-systeemarchitect. Voorafgaand aan de oprichting Quorum-AI, bracht Noah twaalf jaar door in academisch onderzoek, eerst aan de University of Southern California en meest recentelijk bij Northwestern als assistent-voorzitter van Neurobiologie. Zijn werk concentreerde zich op informatieverwerking in de hersenen en hij heeft zijn onderzoek vertaald naar producten in augmented reality, brein-computerinterfaces, computervisie en ingebedde robotica-besturingssystemen.

Je interesse in AI en robotica begon als kleine jongen. Hoe maakte u voor het eerst kennis met deze technologieën?

De eerste vonk kwam van sciencefictionfilms en een liefde voor elektronica. Ik herinner me dat ik als 8-jarige naar de film Tron keek, gevolgd door Electric Dreams, Short Circuit, DARYL, War Games en anderen in de komende jaren. Hoewel het door middel van fictie werd gepresenteerd, blies het idee van kunstmatige intelligentie me weg. En hoewel ik nog maar 8 jaar oud was, voelde ik deze onmiddellijke verbinding en een intense aantrekkingskracht op AI die sindsdien nooit is afgenomen.

Hoe zijn je passies voor beide geëvolueerd?

Mijn interesse in AI en robotica ontwikkelde zich parallel met een passie voor het brein. Mijn vader was biologieleraar en leerde me over het lichaam, hoe alles werkte en hoe alles met elkaar verbonden was. Kijken naar AI en kijken naar de hersenen voelde voor mij als hetzelfde probleem - of in ieder geval hadden ze dezelfde ultieme vraag, namelijk: hoe werkt dat? Ik was in beide geïnteresseerd, maar op school kwam ik niet veel in aanraking met AI of robotica. Om die reden volgde ik aanvankelijk AI in mijn eigen tijd en studeerde ik biologie en psychologie op school.

Toen ik naar de universiteit ging, ontdekte ik de Parallel Distributed Processing (PDP) boeken, wat voor mij enorm was. Ze waren mijn eerste kennismaking met echte AI, wat me vervolgens terugleidde naar de klassiekers zoals Heb, Rosenblattinvestering veilig is en u uw kans vergroot op McCulloch en Pitts. Ik begon neurale netwerken te bouwen op basis van neuroanatomie en wat ik leerde van biologie- en psychologielessen op school. Na mijn afstuderen werkte ik als computernetwerkingenieur, waarbij ik complexe, wide-area-netwerken bouwde en software schreef om de verkeersstroom op die netwerken te automatiseren en te beheren - zoiets als het bouwen van grote hersenen. Het werk wakkerde mijn passie voor AI weer aan en motiveerde me om naar de graduate school te gaan om AI en neurowetenschappen te studeren, en de rest is geschiedenis.

Voordat je Quorum AI oprichtte, heb je 12 jaar academisch onderzoek gedaan, eerst aan de University of Southern California en meest recentelijk aan Northwestern als Assistant Chair of Neurobiology. Je werk richtte zich destijds op informatieverwerking in de hersenen. Kunt u ons door een deel van dit onderzoek leiden?

In brede zin probeerde mijn onderzoek de vraag te begrijpen: hoe doen de hersenen wat ze doen alleen gebruiken wat er beschikbaar is? Om te beginnen ben ik het niet eens met het idee dat de hersenen een soort computer zijn (in de zin van von Neumann). Ik zie het als een enorm netwerk dat voornamelijk stimulusrespons- en signaalcoderingsoperaties uitvoert. Binnen dat enorme netwerk zijn er duidelijke patronen van connectiviteit tussen functioneel gespecialiseerde gebieden. Als we inzoomen, zien we dat het de neuronen niet kan schelen welk signaal ze dragen of in welk deel van de hersenen ze zich bevinden – ze werken op basis van zeer voorspelbare regels. Dus als we de functie van deze gespecialiseerde gebieden willen begrijpen, moeten we een paar vragen stellen: (1) Als input door het netwerk reist, hoe convergeert die input dan met andere inputs om tot een beslissing te komen? (2) Hoe wordt de structuur van die gespecialiseerde gebieden gevormd als resultaat van ervaring? En (3) hoe blijven ze veranderen terwijl we onze hersenen gebruiken en in de loop van de tijd leren? Mijn onderzoek probeerde deze vragen te beantwoorden met een combinatie van experimenteel onderzoek gecombineerd met informatietheorie en modellering en simulatie – iets dat ons in staat zou kunnen stellen kunstmatige beslissystemen en AI te bouwen. In termen van neurobiologie bestudeerde ik neuroplasticiteit en microanatomie van gespecialiseerde gebieden zoals de visuele cortex.

Vervolgens vertaalde je je werk naar augmented reality en brain-computer interfaces. Aan welke producten heb je gewerkt?

Rond 2008 werkte ik aan een project dat we nu augmented reality zouden noemen, maar toen was het slechts een systeem om oogbewegingen te volgen en te voorspellen, en die voorspellingen vervolgens te gebruiken om iets op het scherm bij te werken. Om het systeem in realtime te laten werken, bouwde ik een biologisch geïnspireerd model dat voorspelde waar de kijker zou zijn op basis van hun microsaccades – kleine oogbewegingen die plaatsvinden net voordat je je oog beweegt. Met behulp van dit model kon ik voorspellen waar de kijker zou kijken, en vervolgens de framebuffer in de grafische kaart updaten terwijl hun ogen nog in beweging waren. Tegen de tijd dat hun ogen die nieuwe locatie op het scherm bereikten, was het beeld al bijgewerkt. Deze draaide in 2008 op een gewone desktopcomputer, zonder enige vertraging. De technologie was behoorlijk verbazingwekkend, maar het project kwam niet door naar de volgende financieringsronde, dus het stierf.

In 2011 legde ik me meer toe op productontwikkeling en bouwde ik een neuraal netwerk dat functies kon ontdekken op streaming EEG-gegevens die we vanaf de hoofdhuid hadden gemeten. Dit is de kernfunctie van de meeste brain-computer interfacesystemen. Het project was ook een experiment in hoe klein van een voetafdruk kunnen we dit draaiende krijgen? We hadden een headset die een paar kanalen met EEG-gegevens las bij 400 Hz die via Bluetooth naar een Android-telefoon werden gestuurd voor het ontdekken en classificeren van functies, en vervolgens naar een door Arduino aangedreven controller werden gestuurd die we achteraf in een kant-en-klare RC-auto inbouwden. Tijdens gebruik kon een persoon die de EEG-headset droeg de auto besturen en besturen door zijn gedachten te veranderen van hoofdrekenen naar het zingen van een lied. Het algoritme draaide op de telefoon en creëerde een gepersonaliseerde ‘hersenvingerafdruk’ voor elke gebruiker, waardoor ze konden schakelen tussen verschillende robotapparaten zonder op elk apparaat opnieuw te hoeven trainen. De slogan die we bedachten was "Brain Control Meets Plug-and-Play."

In 2012 hebben we het systeem uitgebreid zodat het veel meer gedistribueerd werkte op kleinere hardware. We gebruikten het om een ​​multi-segment, multi-joint robotarm te besturen waarin elk segment werd bestuurd door een onafhankelijke processor die een ingebedde versie van de AI aanstuurde. In plaats van een gecentraliseerde controller te gebruiken om de arm te manipuleren, lieten we de segmenten zichzelf organiseren en hun doel bereiken op een zwermachtige, gedistribueerde manier. Met andere woorden, zoals mieren vormen een mierenbrug, zouden de armsegmenten samenwerken om een ​​doel in de ruimte te bereiken.

We bleven in dezelfde richting gaan toen we in 2013 voor het eerst Quorum AI lanceerden - oorspronkelijk bekend als Quorum Robotics. We realiseerden ons al snel dat het systeem geweldig was vanwege het algoritme en de architectuur, niet de hardware, dus eind 2014 draaiden we om volledig in de software. Nu, 8 jaar later, maakt Quorum AI de cirkel rond, terug naar die robotica-roots door ons raamwerk toe te passen op de NASA Space Robotics-uitdaging.

Je baan als hoogleraar opzeggen om een ​​start-up te starten moet een moeilijke beslissing zijn geweest. Wat inspireerde je om dit te doen?

Het was in veel opzichten een enorme sprong voor mij, maar toen de kans zich eenmaal voordeed en het pad duidelijk werd, was het een gemakkelijke beslissing. Als hoogleraar denk je in meerjarige tijdskaders en werk je aan zeer lange termijn onderzoeksdoelen. Een start-up lanceren is precies het tegenovergestelde daarvan. Een ding dat het academische leven en het start-upleven echter gemeen hebben, is dat beide vereisen dat je voortdurend leert en problemen oplost. In een start-up kan dat betekenen dat je probeert een oplossing opnieuw te ontwerpen om het risico op productontwikkeling te verkleinen of misschien een nieuwe branche te bestuderen die baat zou kunnen hebben bij onze technologie. Werken bij AI komt het dichtst in de buurt van een 'roeping' zoals ik me ooit heb gevoeld, dus ondanks alle uitdagingen en ups en downs voel ik me enorm gelukkig dat ik het werk doe dat ik doe.

Sindsdien heb je Quorum AI ontwikkeld, dat realtime, gedistribueerde kunstmatige intelligentie ontwikkelt voor alle apparaten en platforms. Kunt u toelichten wat dit AI-platform precies doet?

Het platform heet de Environment for Virtual Agents (EVA) en stelt gebruikers in staat modellen te bouwen, trainen en implementeren met behulp van onze Engram AI Engine. Engram is een flexibele en draagbare verpakking die we hebben gebouwd rond onze onbewaakte leeralgoritmen. De algoritmen zijn zo efficiënt dat ze in realtime kunnen leren, terwijl het model voorspellingen genereert. Omdat de algoritmen taak-agnostisch zijn, is er geen expliciete input of output voor het model, zodat voorspellingen op Bayesiaanse wijze kunnen worden gedaan voor elke dimensie, zonder herscholing en zonder te lijden onder catastrofaal vergeten. De modellen zijn ook transparant en ontleedbaar, wat betekent dat ze kunnen worden onderzocht en opgesplitst in individuele dimensies zonder dat het geleerde verloren gaat.

Eenmaal gebouwd, kunnen de modellen via EVA worden ingezet op elk type platform, variërend van op maat gemaakte embedded hardware tot de cloud. EVA (en de insluitbare hostsoftware) bevatten ook verschillende tools om de functionaliteit van elk model uit te breiden. Een paar korte voorbeelden: Modellen kunnen tussen systemen worden gedeeld via een publicatie-/abonnementssysteem, waardoor gedistribueerde systemen federatief leren kunnen bereiken, zowel in tijd als in ruimte. Modellen kunnen ook worden ingezet als autonome agenten om willekeurige taken uit te voeren, en omdat het model taak-agnostisch is, kan de taak tijdens runtime worden gewijzigd zonder opnieuw te hoeven trainen. Elke individuele agent kan worden uitgebreid met een eigen “virtuele” EVA, waardoor de agent op schaalvrije wijze modellen van andere agenten kan simuleren. Ten slotte hebben we enkele wrappers gemaakt voor systemen voor deep learning en versterkend leren (op Keras gebaseerd), zodat deze modellen op het platform kunnen werken, in combinatie met flexibelere op Engram gebaseerde systemen.

U hebt de Quorum AI-algoritmen eerder beschreven als "wiskundige poëzie". Wat bedoelde je hiermee?

Wanneer u een model bouwt, of u nu het brein modelleert of verkoopgegevens voor uw onderneming modelleert, begint u met het inventariseren van uw gegevens en vervolgens probeert u bekende klassen modellen uit om te proberen het systeem te benaderen. . In wezen maak je ruwe schetsen van het systeem om te zien wat er het beste uitziet. Je verwacht niet dat dingen goed bij de gegevens passen, en er is wat vallen en opstaan ​​bij het testen van verschillende hypothesen over hoe het systeem werkt, maar met wat finesse kun je de gegevens redelijk goed vastleggen.

Terwijl ik neuroplasticiteit in de hersenen modelleerde, begon ik met de gebruikelijke aanpak om alle moleculaire paden, overgangstoestanden en dynamieken in kaart te brengen waarvan ik dacht dat ze ertoe zouden doen. Maar dat ontdekte ik toen ik gereduceerd het systeem terugbracht tot de meest elementaire componenten en die componenten op een bepaalde manier rangschikte, werd het model steeds nauwkeuriger totdat het bijna perfect bij de gegevens paste. Het was alsof elke operator en variabele in de vergelijkingen precies was wat ze moesten zijn, er was niets extra's en alles was essentieel om de gegevens te laten passen.

Toen ik het model in steeds grotere simulaties plugde, zoals bijvoorbeeld visuele systeemontwikkeling of gezichtsherkenning, kon het extreem gecompliceerde connectiviteitspatronen vormen die overeenkwamen met wat we in de hersenen zien. Omdat het model wiskundig was, konden die hersenpatronen worden begrepen door middel van wiskundige analyse, waardoor nieuw inzicht werd verkregen in wat de hersenen leren. Sindsdien hebben we de differentiaalvergelijkingen waaruit het model bestaat opgelost en vereenvoudigd, waardoor de rekenefficiëntie met meerdere ordes van grootte is verbeterd. Het is misschien geen echte poëzie, maar het voelde zeker zo!

Met de platformtoolkit van Quorum AI kunnen apparaten met elkaar worden verbonden om te leren en gegevens te delen zonder dat communicatie via cloudgebaseerde servers nodig is. Wat zijn de voordelen om het op deze manier te doen ten opzichte van het gebruik van de cloud?

We geven gebruikers de mogelijkheid om hun AI te plaatsen waar ze maar willen, zonder afbreuk te doen aan de functionaliteit van de AI. De status quo in AI-ontwikkeling is dat bedrijven meestal worden gedwongen om veiligheid, privacy of functionaliteit in gevaar te brengen, omdat hun enige optie is om cloudgebaseerde AI-services te gebruiken. Als bedrijven hun eigen AI intern proberen te bouwen, kost dat vaak veel geld en tijd, en is de ROI zelden het risico waard. Als bedrijven AI willen inzetten op individuele apparaten die niet met de cloud zijn verbonden, wordt het project al snel onmogelijk. Als gevolg hiervan wordt de adoptie van AI een fantasie.

Ons platform maakt AI toegankelijk en betaalbaar, waardoor bedrijven de ontwikkeling en acceptatie van AI kunnen verkennen zonder de technische of financiële overhead. Bovendien stelt ons platform gebruikers in staat om in één naadloze stap van ontwikkeling naar implementatie te gaan.

Ons platform integreert ook met en verlengt de houdbaarheid van andere "legacy"-modellen, zoals deep learning of Reinforcement Learning, en helpt bedrijven bestaande systemen opnieuw te gebruiken en te integreren in nieuwere applicaties. Evenzo, omdat onze algoritmen en architecturen uniek zijn, zijn onze modellen geen zwarte dozen, dus alles wat het systeem leert, kan door mensen worden verkend en geïnterpreteerd en vervolgens worden uitgebreid naar andere bedrijfsgebieden.

Sommigen geloven dat gedistribueerde kunstmatige intelligentie (DAI) de weg kan banen naar kunstmatige algemene intelligentie (AGI). Onderschrijft u deze theorie?

Dat doe ik, en niet alleen omdat dat de weg is die we voor onszelf hebben uitgestippeld! Als je naar de hersenen kijkt, is het geen monolithisch systeem. Het bestaat uit afzonderlijke, gedistribueerde systemen die elk gespecialiseerd zijn in een beperkt aantal hersenfuncties. We weten misschien niet wat een bepaald systeem aan het doen is, maar we weten dat de beslissingen ervan sterk afhangen van het type informatie dat het ontvangt en hoe die informatie in de loop van de tijd verandert. (Dit is de reden waarom neurowetenschappelijke onderwerpen zoals de connectoom zijn zo populair.)

Naar mijn mening, als we AI willen bouwen die flexibel is en zich gedraagt ​​en presteert als het brein, dan is het logisch om gedistribueerde architecturen te overwegen zoals die we in het brein zien. Je zou kunnen stellen dat deep learning-architecturen zoals meerlaagse netwerken of CNN's in de hersenen kunnen worden gevonden, en dat is waar, maar die architecturen zijn gebaseerd op wat we wisten over de hersenen. 50 jaar geleden.

Het alternatief voor DAI is om door te gaan met het herhalen van monolithische, inflexibele architecturen die nauw zijn gekoppeld aan een enkele beslissingsruimte, zoals die we zien bij diep leren of versterkend leren (of wat voor leermethode dan ook). Ik zou willen voorstellen dat deze beperkingen niet alleen een kwestie zijn van het aanpassen van parameters of het toevoegen van lagen of het conditioneren van gegevens - deze kwesties zijn fundamenteel voor diep leren en versterkend leren, tenminste zoals we ze vandaag definiëren, dus nieuwe benaderingen zijn vereist als we gaan om te blijven innoveren en bouwen aan de AI van morgen.

Gelooft u dat het bereiken van AGI met behulp van DAI waarschijnlijker is dan het versterken van leer- en/of diepgaande leermethoden die momenteel worden nagestreefd door bedrijven zoals OpenAI en DeepMind?

Ja, hoewel ik op grond van waar ze over bloggen vermoed dat OpenAI en DeepMind meer gedistribueerde architecturen gebruiken dan ze laten blijken. We beginnen steeds meer te horen over uitdagingen die meerdere systemen omvatten, zoals transferleren of federatief/gedistribueerd leren, en toevallig ook over hoe benaderingen van diepgaand leren en versterkend leren niet zullen werken voor deze uitdagingen. We beginnen ook van pioniers als Yoshua Bengio te horen hoe biologisch geïnspireerde architecturen de kloof kunnen overbruggen! Ik werk al bijna twintig jaar aan biologisch geïnspireerde AI, dus ik heb een goed gevoel over wat we bij Quorum AI hebben geleerd en hoe we dit gebruiken om te bouwen aan wat volgens ons de volgende generatie AI is die de problemen zal overwinnen. deze beperkingen.

Is er nog iets dat u wilt delen over Quorum AI?

We zullen een voorproefje geven van ons nieuwe platform voor gedistribueerde en op agenten gebaseerde AI op de Gefedereerde en gedistribueerde machine learning-conferentie in juni 2020. Tijdens het gesprek ben ik van plan om enkele recente gegevens over verschillende onderwerpen te presenteren, waaronder sentimentanalyse als brug naar het bereiken van empathische AI.

Ik wil Noah speciaal bedanken voor deze geweldige antwoorden, en ik zou je aanraden om de quorum om meer te leren.