Noah Schwartz, Quorum AI:n perustaja ja toimitusjohtaja – Haastattelusarja

Noah on tekoälyjärjestelmien arkkitehti. Ennen Quorum AI:n perustamista Noah työskenteli 12 vuotta akateemisessa tutkimuksessa, ensin Etelä-Kalifornian yliopistossa ja myöhemmin Northwesternin yliopistossa neurobiologian apulaisjohtajana. Hänen työnsä keskittyi aivojen tietojen prosessointiin, ja hän on kääntänyt tutkimuksensa tuotteiksi lisätyn todellisuuden, aivo-tietokone-liittymien, tietokoneen näön ja upotetun robotiikan ohjausjärjestelmissä.

Mikä herätti sinun kiinnostuksesi tekoälyä ja robottiikkaa lapsena? Kuinka sinut esiteltiin näille teknologioille?

Alkuperäinen kipinä tuli tieteiskuvista ja sähköstä. Muistan katsoneeni elokuvan Tron 8-vuotiaana, ja sen jälkeen Electric Dreams, Short Circuit, DARYL, War Games ja muita seuraavien vuosien aikana. Vaikka se esitettiin fiktion kautta, tekoälyn idea vaikuttaa minuun edelleen. Vaikka olin vasta 8-vuotias, tunsin välittömän yhteyden ja voimakkaan vetovoiman tekoälyä kohtaan, joka ei ole vähentynyt siitä lähtien.

Kuinka kiinnostuksesi sekä tekoälyä että robottiikkaa kehittyi?

Minun kiinnostukseni tekoälyä ja robottiikkaa kehittyi rinnakkain kiinnostukseni aivoja kohtaan. Isäni oli biologian opettaja, ja hän opetti minulle kehosta, siitä, miten kaikki toimii, ja miten se on kaikki yhteydessä toisiinsa. Katsominen tekoälyä ja katsominen aivoja tuntui minulle samalta ongelmalta – tai ainakin niillä oli sama lopullinen kysymys, joka oli, Miten se toimii? Olin kiinnostunut kummastakin, mutta en saanut paljon altistusta tekoälylle tai robottiikalle koulussa. Sen vuoksi aloin seurata tekoälyä omana ajallani ja opiskelin biologiaa ja psykologiaa koulussa.

Kun pääsin yliopistoon, löysin Parallel Distributed Processing (PDP) -kirjat, jotka olivat valtavasti minulle. Ne olivat ensimmäinen tutustumiseni oikeaan tekoälyyn, mikä johti minua takaisin klassikoihin, kuten Hebb, Rosenblatt ja jopa McCulloch ja Pitts. Aloin rakentaa neuroverkkoja neuroanatomian ja biologian ja psykologian kurssien perusteella. Valmistumisen jälkeen työskentelin tietokoneverkko-insinöörinä, rakennellen monimutkaisia laajakaistaverkkoja ja kirjoittaen ohjelmia automatisoida ja hallita liikennettä niillä – kuin rakentaisin suuria aivoja. Työ sytytti uudelleen intohimoni tekoälyä kohtaan ja motivoi minua menemään jatko-opintoihin opiskelemaan tekoälyä ja neurotiedettä, ja loput ovat historiaa.

Ennen Quorum AI:n perustamista sinä työskentelit 12 vuotta akateemisessa tutkimuksessa, ensin Etelä-Kalifornian yliopistossa ja myöhemmin Northwesternin yliopistossa neurobiologian apulaisjohtajana. Silloin työsi keskittyi aivojen tietojen prosessointiin. Voisitko kertoa jotain tästä tutkimuksesta?

Laajassa mielessä tutkimukseni pyrkivät ymmärtämään kysymyksen: Miten aivot tekevät mitä ne tekevät käyttäen vain sitä, mitä neillä on saatavilla? En tilaa ajatusta, että aivot ovat tietokone (von Neumannin mielessä). Näen ne massiivisena verkkona, joka suorittaa enimmäkseen ärsyke-vastaus- ja signaali-koodausoperaatioita. Tässä massiivisessa verkossa on selvät yhteyden muodot toiminnallisten erikoistuneiden alueiden välillä. Kun zoomaamme sisään, näemme, että neuroneja ei välitetä, minkä signaalin ne kantavat tai mihin osaan aivoja ne ovat – ne toimivat hyvin ennustettavien sääntöjen mukaan. Jotta voisimme ymmärtää näiden erikoistuneiden alueiden toimintaa, meidän on kysyttävä muutamia kysymyksiä: (1) Kuinka syöte yhdistyy muihin syötteisiin tuottaakseen päätöksen? (2) Kuinka näiden erikoistuneiden alueiden rakenne muodostuu kokemuksesta? Ja (3) kuinka ne jatkavat muuttumista, kun käytämme aivojamme ja opimme yli ajan? Tutkimukseni pyrkivät vastaamaan näihin kysymyksiin yhdistämällä kokeellista tutkimusta, tietoteoriaa ja mallinnusta ja simulaatiota – jotka voisivat mahdollistaa meidän rakentaa tekoälyjärjestelmiä.

Sitten sinä käänsit työsi lisätyn todellisuuden ja aivo-tietokone-liittymiin. Mitä tuotteita sinä työskentelit?

Noin vuonna 2008 työskentelin projektissa, jota nyt kutsuttaisiin lisättyyn todellisuuteen, mutta silloin se oli järjestelmä silmien liikkeiden seuraamiseen ja ennustamiseen, ja sitten käyttämiseen näiden ennusteiden päivittämiseen jotain ruudulla. Tehdäkseen järjestelmän toimivaksi reaaliajassa, rakensin biologisesti inspiroidun mallin, joka ennusti, mihin katsoja katsoisi sen microsaccadisen perusteella – pienet silmien liikkeet, jotka tapahtuvat juuri ennen kuin siirrät silmiäsi. Käyttämällä tätä mallia, voisin ennustaa, mihin katsoja katsoisi, ja sitten päivittää ruudun puskurin grafiikkakortissa, kun heidän silmänsä olivat edelleen liikkeessä. Kun heidän silmänsä saapuivat siihen uuteen sijaintiin ruudulla, kuva oli jo päivitetty. Tämä toimi tavallisella pöytäkoneella vuonna 2008 ilman viiveitä. Teknologia oli aika hämmästyttävää, mutta projekti ei päässyt seuraavaan rahoituskierrokseen, joten se kuoli.

Vuonna 2011 tein tarkemman tuotekehitysyrityksen ja rakensin neuroverkon, joka voisi suorittaa piirtein havainnon virtaavasta EEG-datasta, jota mitattiin kallosta. Tämä on ydinominaisuus useimmille aivo-tietokone-liittymille. Projekti oli myös kokeilu kuinka pieni jälki voisimme saada tämän toimimaan? Meillä oli liittimi, joka luki muutaman kanavan EEG-dataa 400Hz, joka lähetettiin Bluetoothin kautta Android-puhelimeen piirtein havainnon ja luokittelun vuoksi, ja sitten lähetettiin Arduino-ohjattuun ohjaimoon, jonka me muokkasimme valmiiseen RC-autoon. Kun käytössä, yksilö, joka käytti EEG-liittimiä, voisi ajaa ja ohjata autoa muuttamalla ajatuksiaan tekemällä mental laskuja laulamalla laulua. Algoritmi toimi puhelimessa ja loi henkilökohtaisen aivokuvausmerkin kullekin käyttäjälle, mahdollistaen heidän vaihtaa useiden robotiikkalaitteiden välillä ilman, että heidän tarvitsi kouluttaa uudelleen kullekin laitteelle. Iskulause, jonka keksimme, oli “Aivot ohjaavat tapaamista ja plug-and-play”.

Vuonna 2012 laajensimme järjestelmää toimimaan paljon hajautetummalla tavalla pienemmällä laitteistolla. Käytimme sitä ohjaamaan moniosaisen, moniliikkeisen robotti-käsivartta, jossa kunkin osan ohjasi itsenäinen prosessori, joka suoritti upotetun version tekoälyä. Sen sijaan, että käytimme keskitettyä ohjainta manipuloida käsivartta, sallimme osien itsejärjestäytyä ja saavuttaa kohde avaruudessa joukkoonomaisella, hajautetulla tavalla. Toisin sanoen, kuin muurahaiset muodostavat muurahaisen sillan, käsivartta osat toimivat yhdessä saavuttaakseen jonkin kohde avaruudessa.

Jatkoimme edelleen samassa suunnassa, kun ensimmäisen kerran lanseerasimme Quorum AI:n – alun perin tunnettu nimellä Quorum Robotics – vuonna 2013. Nopeasti tajusimme, että järjestelmä oli upea algoritmin ja arkkitehtuurin vuoksi, ei laitteiston vuoksi, joten vuoden 2014 lopulla käänsimme täysin ohjelmistoon. Nyt, 8 vuotta myöhemmin, Quorum AI on palaamassa takaisin niihin robotiikan juurille soveltamalla kehyksemme NASA Space Robotics Challengeen.

Lopettaminen professorin työsi ja perustaminen start-up oli varmasti vaikea päätös. Mikä innoitti sinua tekemään tämän?

Se oli valtava askel minulle monissa suhteissa, mutta kun mahdollisuus tuli ja polku selkeni, se oli helppo päätös. Kun olet professori, ajattelet monivuotisissa aikatauluissa ja työskentelet hyvin pitkän aikavälin tutkimuskohteissa. Start-upin perustaminen on täsmälleen vastakkainen asia. Kuitenkin yksi asia, joka akateemisella elämällä ja start-up-elämällä on yhteistä, on, että molemmat vaativat jatkuvasti oppimista ja ongelmien ratkaisemista. Start-upissa se voi tarkoittaa yrittää uudelleen suunnitella ratkaisua vähentämään tuotekehitysriskejä tai ehkä opiskelemalla uuden pystysuoran, josta voisi hyötyä meidän teknologiamme. Tekoälytyö on lähimpänä “kutsua”, mitä olen koskaan kokenut, joten kaikista haasteista ja ylös-alas-kierroksista huolimatta, tunnen itseni äärimmäisen onnekkaaksi tehdessäni työtä, jota teen.

Sinä olet kehittänyt Quorum AI:n, joka kehittää reaaliaikaisen, hajautetun tekoälyä kaikille laitteille ja alustoille. Voisitko selittää, mitä tämä tekoäly-alusta tekee?

Alusta on nimeltään Environment for Virtual Agents (EVA), ja se mahdollistaa käyttäjien rakentaa, kouluttaa ja ottaa mallit käyttöön meidän Engram AI -moottorin avulla. Engram on joustava ja siirrettävä kuori, jonka olemme rakentaneet ympärille meidän valvomattomien oppimisalgoritmejamme. Algoritmit ovat niin tehokkaita, että ne voivat oppia reaaliajassa, kun malli tuottaa ennusteita. Koska algoritmit ovat tehtävänäköisiä, ei ole eksplisiittistä syötettä tai tulostetta malliin, joten ennusteet voidaan tehdä bayesilaisella tavalla mille tahansa ulottuvuudelle ilman uudelleen koulutusta ja ilman kärsimästä katastrofaalista unohtamisesta. Mallit ovat myös läpinäkyviä ja purettavia, mikä tarkoittaa, että ne voidaan tarkastella ja pureta yksittäisiin ulottuvuuksiin ilman menettämistä mitä on opittu.

Kun mallit on rakennettu, ne voidaan ottaa käyttöön EVA:n kautta mille tahansa alustalle, aina mukautettavasta upotetusta laitteistosta pilveen. EVA (ja upotettava isäntäohjelmisto) sisältävät myös useita työkaluja laajentaa kunkin mallin toiminnallisuutta. Muutamia nopeita esimerkkejä: Mallit voidaan jakaa järjestelmien välillä julkaisu/tilaus-järjestelmän kautta, mahdollistaen hajautettujen järjestelmien saavuttaa federated oppimisen sekä ajan että avaruuden yli. Mallit voidaan myös ottaa käyttöön itsenäisinä agenteina suorittamaan mitä tahansa tehtäviä, ja koska malli on tehtävänäköinen, tehtävä voidaan muuttaa suoritusajan aikana ilman uudelleen koulutusta. Kunkin yksittäisen agentin voidaan laajentaa yksityisellä “virtuaalisella” EVA:lla, mahdollistaen agentin simuloida malleja muista agenteista mittakaavattomalla tavalla. Lopulta, olemme luoneet joitain kuoritauluja syväoppimis- ja vahvistusoppimisjärjestelmille (Keras-pohjaisille), jotka mahdollistavat näiden mallien toimimisen alustalla yhdessä joustavampien Engram-pohjaisen järjestelmien kanssa.

Aiempaa sinä olet kuvaillut Quorum AI:n algoritmeja “matemaattiseksi runoudeksi”. Mitä sinä tarkoitit täällä?

Kun rakennat mallin, riippumatta siitä, mallintaatko aivoja tai mallintaatko yrityksesi myyntidataa, aloitat ottamalla selvää datasta, ja sitten kokeilet tunnettuja malliluokkia yrittääksesi approksimoida järjestelmää. Olet luomassa karkeita luonnoksia järjestelmästä nähdäksesi, mitä näyttää parhaalta. Et odota, että asiat sopivat hyvin, ja on jonkinlaista koetta ja virhettä, kun testaat eri hypoteeseja siitä, miten järjestelmä toimii, mutta jonkinlaista taituruutta, voit saada datan melko hyvin. Kun mallintaminen neuroplastisuutta aivoissa, aloitin tavallisella lähestymistavalla kartoittamalla kaikki molekyylireitit, siirtymätilat ja dynamiikat, jotka luulin olevan tärkeitä. Mutta kun vähensin järjestelmän perustavimpiin komponentteihin ja järjestin ne tietynlaisella tavalla, malli tuli yhä tarkemmaksi, kunnes se sopi melkein täydellisesti. Se oli kuin jokainen operaattori ja muuttuja kaavoissa olisi täsmälleen se, mitä se tarvitsi, eikä ollut mitään ylimääräistä, ja kaikki oli välttämätöntä sovittaa dataan.

Kun liitin mallin suurempiin ja suurempiin simulaatioihin, kuten visuaalisen järjestelmän kehitykseen tai kasvojen tunnistamiseen, se pystyi muodostamaan erittäin monimutkaisia yhteyden muotoja, jotka vastaavat niitä, mitä näemme aivoissa. Koska malli oli matemaattinen, nämä aivomallit voitiin ymmärtää matemaattisen analyysin kautta, antaen uuden näkökulman siihen, mitä aivot ovat oppineet. Siitä lähtien olemme ratkaisseet ja yksinkertaistaneet differentiaaliyhtälöitä, jotka muodostavat mallin, parantaen laskenta-tehokkuutta useita kertaa. Se ei välttämättä ole oikea runous, mutta se tuntui siltä!

Quorum AI:n alustatyökalu mahdollistaa laitteiden yhdistämisen toisiinsa oppimiseksi ja jaettavaksi ilman cloud-palvelimien kautta. Mitkä ovat edut tästä tavasta verrattuna cloud-pohjaisiin palveluihin?

Me annamme käyttäjille mahdollisuuden asettaa tekoälynsä minne he haluavat, ilman että heidän on uhrattava turvallisuutta, yksityisyyttä tai toiminnallisuutta. Tekoälykehityksen nykyinen status quo on, että yritykset joutuvat usein tinkimään turvallisuuden, yksityisyyden tai toiminnallisuuden kanssa, koska heidän ainoa vaihtoehtonsa on käyttää cloud-pohjaisia tekoäly-palveluita. Jos yritykset yrittävät rakentaa oman tekoälynsä sisäisesti, se vaatii usein paljon rahaa ja aikaa, ja ROI on harvoin tarpeeksi hyvä oikeuttaakseen riskin. Jos yritykset haluavat ottaa tekoälynsä käyttöön yksittäisiin laitteisiin, jotka eivät ole cloud-yhteydessä, projekti muuttuu nopeasti mahdottomaksi. Tekoälyn omaksuminen muuttuu fantasianomaiseksi.

Meidän alustamme tekee tekoälystä saatavilla ja edullista, antaen yrityksille tavan tutkia tekoälykehitystä ja omaksumista ilman teknistä tai taloudellista taakkaa. Ja lisäksi, meidän alustamme mahdollistaa siirtymisen kehityksestä käyttöönottoon yhdessä vaivattomassa vaiheessa.

Meidän alustamme myös integroi ja laajentaa “perinteisten” mallien, kuten syväoppimisen ja vahvistusoppimisen, käyttöikää, auttaen yrityksiä uudelleen käyttämään ja integroimaan olemassa olevia järjestelmiä uusiin sovelluksiin. Vastaavasti, koska meidän algoritmit ja arkkitehtuurimme ovat ainutlaatuisia, meidän mallimme eivät ole mustia laatikoita, joten mitä tahansa järjestelmä oppii, voidaan tutkia ja tulkita ihmisille, ja sitten laajentaa muihin liiketoiminnan aloihin.

Jotkut uskovat, että hajautettu tekoäly (DAI) voi johtaa tekoälyn yleiseen älykkyyteen (AGI). Oletko samaa mieltä tästä teoriasta?

Kyllä, ja ei vain siksi, että se on polku, jota olemme asettaneet itsellemme! Kun tarkastelet aivoja, ne eivät ole yhtenäinen järjestelmä. Ne koostuvat erillisistä, hajautetuista järjestelmistä, jotka erikoistuvat kapeaan aivotoimintojen joukkoon. Emme välttämättä tiedä, mitä tiettyä järjestelmää tehdään, mutta tiedämme, että sen päätökset riippuvat merkittävästi siitä, minkälaista tietoa se saa, ja miten se muuttuu ajan myötä. (Tästä syystä neurotieteelliset aiheet, kuten connectome, ovat niin suosittuja.)

Minun mielestäni, jos haluamme rakentaa tekoälyä, joka on joustava ja käyttäytyy ja suorittaa aivojen tavoin, on järkevää harkita hajautettuja arkkitehtuureja, kuten niitä, mitä näemme aivoissa. Voisi väittää, että syväoppimisarkkitehtuureja, kuten monikerroksisia verkkomalleja tai CNN:itä, voidaan löytää aivoista, ja se on totta, mutta nämä arkkitehtuureja perustuvat siihen, mitä tiedimme aivoista 50 vuotta sitten.

DAI:n vastakohta on jatkaa monoliittisten, joustamattomien arkkitehtuurien iterointia, jotka ovat tiiviisti kytketty yhteen päätöksentekijään, kuten niitä, mitä näemme syväoppimisessa tai vahvistusoppimisessa (tai millä tahansa valvotulla oppimismenetelmällä). Väittäisin, että nämä rajoitukset eivät ole vain parametrin säätämistä, kerrosten lisäämistä tai datan ehdottamista – nämä ongelmat ovat perustavanlaatuisia syväoppimiselle ja vahvistusoppimiselle, ainakin niin kuin ne määritellään tänään, joten uusia lähestymistapoja vaaditaan, jos haluamme jatkaa innovointia ja rakentaa huomisen tekoälyä.

Uskotko, että saavuttaminen AGI DAI:n kautta on todennäköisempää kuin vahvistusoppimis- ja syväoppimismenetelmillä, joita yritykset, kuten OpenAI ja DeepMind, parhaillaan tutkivat?

Kyllä, vaikka mitä he bloggaavat, epäilen, että OpenAI ja DeepMind käyttävät enemmän hajautettuja arkkitehtuureja, kuin he antavat ymmärtää. Olemme alkaneet kuulla enemmän monijärjestelmähaasteista, kuten siirtymisoppimisesta tai hajautetusta oppimisesta, ja sattumalta, siitä, kuinka syväoppimis- ja vahvistusoppimismenetelmät eivät toimi näille haasteille. Olemme myös alkaneet kuulla edelläkävijöiltä, kuten Yoshua Bengiolta, kuinka biologisesti inspiroidut arkkitehtuureja voivat silittää tämän kuilun! Olen työskennellyt biologisesti inspiroidussa tekoälyssä lähes 20 vuotta, joten tunnen itseni erittäin hyvän siitä, mitä olemme oppineet Quorum AI:ssa ja miten käytämme sitä rakentamaan seuraavan sukupolven tekoälyä, joka ylittää nämä rajoitukset.

Onko mitään muuta, mitä haluaisit jakaa Quorum AI:sta?

Me esittelemme uuden alustamme hajautetulle ja agenttipohjaiselle tekoälylle NASA Space Robotics Challenge -konferenssissa kesäkuussa 2020. Esitelmässäni aion esittää joitain tuoreita tietoja useista aiheista, mukaan lukien mielipideanalyysiä saavuttaaksemme empaattista tekoälyä.

Haluaisin kiittää erityisesti Noahia näistä upeista vastauksista, ja suosittelen, että käyt Quorumin sivustolle lisätietojen saamiseksi.