Noah Schwartz, medestigter en uitvoerende hoof van Quorum AI – Interview Series

Noah is 'n KI-stelselargitek. Voor stigting Kworum AI, Noah het 12 jaar in akademiese navorsing deurgebring, eers aan die Universiteit van Suid-Kalifornië en mees onlangs by Northwestern as die Assistent Leerstoel van Neurobiologie. Sy werk het gefokus op inligtingsverwerking in die brein en hy het sy navorsing in produkte in volgemaakte werklikheid, brein-rekenaar-koppelvlakke, rekenaarvisie en ingebedde robotika-beheerstelsels vertaal.

Jou belangstelling in KI en robotika het begin as 'n klein seuntjie. Hoe is jy die eerste keer aan hierdie tegnologieë bekendgestel?

Die aanvanklike vonk het gekom van wetenskapfiksieflieks en 'n liefde vir elektronika. Ek onthou hoe ek die fliek, Tron, as 'n 8-jarige gekyk het, gevolg deur Electric Dreams, Short Circuit, DARYL, War Games, en ander oor die volgende paar jaar. Alhoewel dit deur fiksie aangebied is, het die idee van kunsmatige intelligensie my weggeblaas. En al was ek net 8 jaar oud, het ek hierdie onmiddellike verbintenis en 'n intense trek na KI gevoel wat nog nooit verminder het in die tyd sedertdien nie.

Hoe het jou passies vir albei ontwikkel?

My belangstelling in KI en robotika het parallel ontwikkel met 'n passie vir die brein. My pa was 'n biologie-onderwyser en het my geleer van die liggaam, hoe alles gewerk het, en hoe dit alles met mekaar verband hou. Om na KI te kyk en na die brein te kyk, het vir my soos dieselfde probleem gevoel - of ten minste, hulle het dieselfde uiteindelike vraag gehad, wat was: Hoe werk dit? Ek was geïnteresseerd in albei, maar ek het nie veel blootstelling aan KI of robotika op skool gekry nie. Om daardie rede het ek aanvanklik KI op my eie tyd gevolg en biologie en sielkunde op skool studeer.

Toe ek by die kollege kom, het ek die Parallel Distributed Processing (PDP) boeke, wat vir my groot was. Hulle was my eerste inleiding tot werklike KI, wat my toe terug gelei het na die klassieke soos Hebb, Rose Blatt, En selfs McCulloch en Pitts. Ek het begin om neurale netwerke te bou gebaseer op neuroanatomie en wat ek uit biologie en sielkunde klasse op skool geleer het. Nadat ek gegradueer het, het ek as 'n rekenaarnetwerkingenieur gewerk, komplekse, wye-area-netwerke gebou en sagteware geskryf om verkeersvloei op daardie netwerke te outomatiseer en te bestuur - soort van soos om groot breine te bou. Die werk het my passie vir KI laat herleef en my gemotiveer om na die graadskool te gaan om KI en neurowetenskap te studeer, en die res is geskiedenis.

Voordat jy Quorum AI gestig het, het jy 12 jaar in akademiese navorsing deurgebring, eers aan die Universiteit van Suid-Kalifornië en mees onlangs by Northwestern as die Assistent-leerstoel van Neurobiologie. Jou werk het destyds gefokus op inligtingsverwerking in die brein. Kan jy ons deur sommige van hierdie navorsing lei?

In 'n breë sin het my navorsing probeer om die vraag te verstaan: Hoe doen die brein wat hy doen gebruik net wat dit beskikbaar het? Om mee te begin, ek onderskryf nie die idee dat die brein 'n tipe rekenaar is nie (in die von Neumann sin). Ek sien dit as 'n massiewe netwerk wat meestal stimulus-reaksie en sein-kodering bewerkings uitvoer. Binne daardie massiewe netwerk is daar duidelike patrone van konnektiwiteit tussen funksioneel gespesialiseerde gebiede. Soos ons inzoem, sien ons dat neurone nie omgee watter sein hulle dra of in watter deel van die brein hulle is nie – hulle werk op grond van baie voorspelbare reëls. As ons dus die funksie van hierdie gespesialiseerde gebiede wil verstaan, moet ons 'n paar vrae vra: (1) Soos 'n inset deur die netwerk beweeg, hoe konvergeer daardie inset met ander insette om 'n besluit te produseer? (2) Hoe vorm die struktuur van daardie gespesialiseerde gebiede as gevolg van ervaring? En (3) hoe bly hulle verander soos ons ons brein gebruik en mettertyd leer? My navorsing het probeer om hierdie vrae aan te spreek deur 'n mengsel van eksperimentele navorsing gekombineer met inligtingsteorie en modellering en simulasie te gebruik – iets wat ons in staat kan stel om kunsmatige besluitnemingstelsels en KI te bou. In neurobiologie terme het ek neuroplastisiteit en mikroanatomie van gespesialiseerde areas soos die visuele korteks bestudeer.

Jy het toe jou werk vertaal in verhoogde werklikheid, en brein-rekenaar-koppelvlakke. Wat was van die produkte waaraan jy gewerk het?

Om en by 2008 het ek aan 'n projek gewerk wat ons nou vergrote werklikheid sou noem, maar destyds was dit net 'n stelsel om oogbewegings op te spoor en te voorspel, en dan daardie voorspellings te gebruik om iets op die skerm op te dateer. Om die stelsel intyds te laat werk, het ek 'n biologies-geïnspireerde model gebou wat voorspel het waar die kyker sou op grond van hul mikrosakkades - klein oogbewegings wat plaasvind net voor jy jou oog beweeg. Deur hierdie model te gebruik, kon ek voorspel waar die kyker sou kyk, en dan die raambuffer in die grafiese kaart opdateer terwyl hul oë nog in beweging was. Teen die tyd dat hul oë daardie nuwe plek op die skerm bereik het, was die beeld reeds opgedateer. Dit het in 2008 op 'n gewone tafelrekenaar gehardloop, sonder enige vertraging. Die tegnologie was redelik wonderlik, maar die projek het nie deurgedring na die volgende rondte van befondsing nie, so dit het gesterf.

In 2011 het ek 'n meer gefokusde poging met produkontwikkeling aangewend en 'n neurale netwerk gebou wat kenmerkontdekking kan doen op stromende EEG-data wat ons vanaf die kopvel gemeet het. Dit is die kernfunksie van die meeste brein-rekenaar-koppelvlakstelsels. Die projek was ook 'n eksperiment in hoe klein van 'n voetspoor kan ons hierdie aan die gang kry? Ons het 'n headset gehad wat 'n paar kanale van EEG-data by 400Hz gelees het wat via Bluetooth na 'n Android-foon gestuur is vir kenmerkontdekking en klassifikasie, en dan na 'n Arduino-aangedrewe kontroleerder gestuur is wat ons in 'n RC-motor van die rak geplaas het. Wanneer dit gebruik word, kon 'n individu wat die EEG-koptelefoon gedra het, die motor bestuur en stuur deur hul gedagtes te verander van hoofrekene na 'n liedjie te sing. Die algoritme het op die foon gehardloop en 'n gepersonaliseerde brein-"vingerafdruk" vir elke gebruiker geskep, wat hulle in staat stel om tussen 'n verskeidenheid robottoestelle te wissel sonder om op elke toestel te heroplei. Die bywoord waarmee ons vorendag gekom het, was "Brain Control Meets Plug-and-Play."

In 2012 het ons die stelsel uitgebrei sodat dit op 'n baie meer verspreide wyse op kleiner hardeware werk. Ons het dit gebruik om 'n multi-segment, multi-gewrigte robotarm te beheer waarin elke segment beheer is deur 'n onafhanklike verwerker wat 'n ingebedde weergawe van die KI bestuur het. In plaas daarvan om 'n gesentraliseerde beheerder te gebruik om die arm te manipuleer, het ons die segmente toegelaat om self te organiseer en hul teiken op 'n swermagtige, verspreide manier te bereik. Met ander woorde, soos miere wat 'n mierbrug vorm, sal die armsegmente saamwerk om een ​​of ander teiken in die ruimte te bereik.

Ons het voortgegaan om in dieselfde rigting te beweeg toe ons Quorum AI vir die eerste keer bekend gestel het – oorspronklik bekend as Quorum Robotics – terug in 2013. Ons het vinnig besef dat die stelsel fantasties was as gevolg van die algoritme en argitektuur, nie die hardeware nie, so laat in 2014 het ons 'n draai gemaak. heeltemal in sagteware. Nou, 8 jaar later, kom Quorum AI vol-sirkel, terug na daardie robotika-wortels deur ons raamwerk toe te pas op die NASA Space Robotics Challenge.

Om jou werk as 'n professor te bedank om 'n nuwe onderneming te begin, moes 'n moeilike besluit gewees het. Wat het jou geïnspireer om dit te doen?

Dit was vir my 'n groot sprong in baie opsigte, maar sodra die geleentheid voorgekom het en die pad duidelik geword het, was dit 'n maklike besluit. As jy 'n professor is, dink jy in meerjarige tydraamwerke en jy werk aan baie langtermyn-navorsingsdoelwitte. Die bekendstelling van 'n begin-up is presies die teenoorgestelde daarvan. Een ding wat die akademiese lewe en die begin-lewe egter gemeen het, is dat beide vereis dat jy leer en probleme voortdurend moet oplos. In 'n begin kan dit beteken dat ons probeer om 'n oplossing te herontwerp om die risiko van produkontwikkeling te verminder of miskien 'n nuwe vertikale studie te bestudeer wat by ons tegnologie kan baat. Om in KI te werk is die naaste ding aan 'n "roeping" soos ek nog ooit gevoel het, so ten spyte van al die uitdagings en die op- en afdraandes, voel ek geweldig gelukkig om die werk te doen wat ek doen.

Jy het sedertdien Quorum AI ontwikkel, wat intydse, verspreide kunsmatige intelligensie vir alle toestelle en platforms ontwikkel. Kan u uitbrei oor wat presies hierdie KI-platform doen?

Die platform word die Environment for Virtual Agents (EVA) genoem, en dit stel gebruikers in staat om modelle te bou, op te lei en te ontplooi met behulp van ons Engram AI Engine. Engram is 'n buigsame en draagbare omhulsel wat ons gebou het rondom ons leeralgoritmes sonder toesig. Die algoritmes is so doeltreffend dat hulle intyds kan leer, aangesien die model voorspellings genereer. Omdat die algoritmes taak-agnosties is, is daar geen eksplisiete insette of uitset na die model nie, dus kan voorspellings op 'n Bayesiaanse wyse vir enige dimensie gemaak word sonder heropleiding en sonder om aan katastrofiese vergeet te ly. Die modelle is ook deursigtig en ontbindbaar, wat beteken dat hulle ondersoek en in individuele dimensies uitmekaar gebreek kan word sonder om dit wat geleer is te verloor.

Sodra dit gebou is, kan die modelle deur EVA na enige tipe platform ontplooi word, wat wissel van pasgemaakte ingeboude hardeware of tot die wolk. EVA (en die ingebedde gasheersagteware) bevat ook verskeie instrumente om die funksionaliteit van elke model uit te brei. 'n Paar vinnige voorbeelde: Modelle kan tussen stelsels gedeel word deur 'n publikasie-/intekeningstelsel, wat verspreide stelsels in staat stel om gefedereerde leer oor beide tyd en ruimte te bereik. Modelle kan ook as outonome agente ontplooi word om arbitrêre take uit te voer, en omdat die model taak-agnosties is, kan die taak tydens looptyd verander word sonder heropleiding. Elke individuele agent kan uitgebrei word met 'n private "virtuele" EVA, wat die agent in staat stel om modelle van ander agente op 'n skaalvrye manier te simuleer. Ten slotte, ons het 'n paar omhulsels geskep vir diep leer en versterking leer (Keras-gebaseerde) stelsels om hierdie modelle in staat te stel om op die platform te werk, in samewerking met meer buigsame Engram-gebaseerde stelsels.

Jy het voorheen die Quorum AI-algoritmes as “wiskundige poësie” beskryf. Wat het jy hiermee bedoel?

Wanneer jy 'n model bou, of jy nou die brein modelleer of jy verkoopdata vir jou onderneming modelleer, begin jy deur 'n inventaris van jou data te neem, dan probeer jy bekende klasse modelle om die stelsel te probeer benader . In wese skep jy rowwe sketse van die stelsel om te sien wat die beste lyk. Jy verwag nie dat dinge baie goed by die data sal pas nie, en daar is 'n mate van proef en fout terwyl jy verskillende hipoteses toets oor hoe die stelsel werk, maar met 'n bietjie finesse kan jy die data redelik goed vaslê.

Terwyl ek neuroplastisiteit in die brein gemodelleer het, het ek begin met die gewone benadering om al die molekulêre paaie, oorgangstoestande en dinamika wat ek gedink het sou saak maak, uit te karteer. Maar ek het dit gevind toe ek verminder die stelsel tot sy mees basiese komponente en daardie komponente op 'n bepaalde manier gerangskik het, het die model al hoe meer akkuraat geraak totdat dit byna perfek by die data pas. Dit was asof elke operateur en veranderlike in die vergelykings presies was wat hulle moes wees, daar was niks ekstra nie, en alles was noodsaaklik om die data te pas.

Toe ek die model in groter en groter simulasies ingeprop het, soos visuele stelselontwikkeling of gesigherkenning, byvoorbeeld, was dit in staat om uiters ingewikkelde verbindingspatrone te vorm wat ooreenstem met wat ons in die brein sien. Omdat die model wiskundig was, kon daardie breinpatrone deur wiskundige analise verstaan ​​word, wat nuwe insig gee in wat die brein leer. Sedertdien het ons die differensiaalvergelykings waaruit die model bestaan, opgelos en vereenvoudig, wat berekeningsdoeltreffendheid met veelvuldige grootteordes verbeter het. Dit is dalk nie werklike poësie nie, maar dit het sekerlik so gevoel!

Quorum AI se platformgereedskapstel stel toestelle in staat om aan mekaar te koppel om data te leer en te deel sonder om deur wolkgebaseerde bedieners te kommunikeer. Wat is die voordele om dit op hierdie manier te doen teenoor die gebruik van die wolk?

Ons gee gebruikers die opsie om hul KI te plaas waar hulle wil, sonder om die funksionaliteit van die KI in te boet. Die status quo in KI-ontwikkeling is dat maatskappye gewoonlik gedwing word om sekuriteit, privaatheid of funksionaliteit in gedrang te bring omdat hul enigste opsie is om wolkgebaseerde KI-dienste te gebruik. As maatskappye wel probeer om hul eie KI in-huis te bou, verg dit dikwels baie geld en tyd, en die ROI is selde die risiko werd. As maatskappye KI wil ontplooi op individuele toestelle wat nie wolkgekoppel is nie, word die projek vinnig onmoontlik. As gevolg hiervan word KI-aanneming 'n fantasie.

Ons platform maak KI toeganklik en bekostigbaar, wat maatskappye 'n manier bied om KI-ontwikkeling en -aanneming te verken sonder die tegniese of finansiële bokoste. En boonop stel ons platform gebruikers in staat om van ontwikkeling tot ontplooiing in een naatlose stap te gaan.

Ons platform integreer ook met en verleng die raklewe van ander "nalatenskap" modelle soos diep leer of versterking leer, wat maatskappye help om bestaande stelsels te hergebruik en in nuwer toepassings te integreer. Net so, omdat ons algoritmes en argitekture uniek is, is ons modelle nie swart bokse nie, so enigiets wat die stelsel leer kan deur mense verken en geïnterpreteer word, en dan uitgebrei word na ander sakegebiede.

Sommige glo dat verspreide kunsmatige intelligensie (DAI) die pad na kunsmatige algemene intelligensie (AGI) kan lei. Onderskryf jy hierdie teorie?

Ek doen, en nie net omdat dit die pad is wat ons vir onsself ingeslaan het nie! As jy na die brein kyk, is dit nie 'n monolitiese stelsel nie. Dit bestaan ​​uit afsonderlike, verspreide stelsels wat elkeen in 'n nou reeks breinfunksies spesialiseer. Ons weet dalk nie wat 'n spesifieke stelsel doen nie, maar ons weet dat sy besluite aansienlik afhang van die tipe inligting wat dit ontvang en hoe daardie inligting met verloop van tyd verander. (Dit is hoekom neurowetenskaponderwerpe soos die verbind is so gewild.)

Na my mening, as ons KI wil bou wat buigsaam is en wat optree en presteer soos die brein, dan maak dit sin om verspreide argitekture te oorweeg soos dié wat ons in die brein sien. Mens kan redeneer dat diep leer-argitekture soos multi-laag netwerke of CNN'e in die brein gevind kan word, en dit is waar, maar daardie argitekture is gebaseer op wat ons van die brein geweet het. 50 jaar gelede.

Die alternatief vir DAI is om voort te gaan om te herhaal op monolitiese, onbuigsame argitekture wat styf gekoppel is aan 'n enkele besluitnemingsruimte, soos dié wat ons in diepleer of versterkingsleer sien (of enige leermetode onder toesig, vir die saak). Ek sou voorstel dat hierdie beperkings nie net 'n kwessie is van parameteraanpassing of die byvoeging van lae of datakondisionering nie - hierdie kwessies is fundamenteel vir diep leer en versterkingsleer, ten minste soos ons dit vandag definieer, so nuwe benaderings word vereis as ons gaan om voort te gaan met innovasie en die bou van die KI van môre.

Glo jy dat die bereiking van AGI deur DAI meer waarskynlik is as versterkende leer en/of diep leermetodes wat tans deur maatskappye soos OpenAI en DeepMind gevolg word?

Ja, alhoewel van waaroor hulle blog, vermoed ek dat OpenAI en DeepMind meer verspreide argitekture gebruik as wat hulle toelaat. Ons begin meer hoor oor multistelsel-uitdagings soos oordragleer of gefedereerde/verspreide leer, en toevallig, oor hoe diepleer- en versterkingsleerbenaderings nie vir hierdie uitdagings gaan werk nie. Ons begin ook van pioniers soos Yoshua Bengio hoor oor hoe biologies-geïnspireerde argitekture die gaping kan oorbrug! Ek werk al byna 20 jaar aan biologies-geïnspireerde KI, so ek voel baie goed oor wat ons by Quorum KI geleer het en hoe ons dit gebruik om te bou wat ons glo die volgende generasie KI is wat sal oorkom hierdie beperkings.

Is daar enigiets anders wat jy oor Quorum KI wil deel?

Ons sal 'n voorskou van ons nuwe platform vir verspreide en agent-gebaseerde KI by die Gefedereerde en verspreide masjienleerkonferensie in Junie 2020. Tydens die praatjie beplan ek om 'n paar onlangse data oor verskeie onderwerpe aan te bied, insluitend sentimentanalise as 'n brug na die bereiking van empatiese KI.

Ek wil graag 'n spesiale dankie aan Noah gee vir hierdie wonderlike antwoorde, en ek sal aanbeveel dat jy die kworum om meer te leer.