Noah Schwartz, suosnivač i izvršni direktor Quorum AI – serija intervjua

Noah je arhitekt sustava umjetne inteligencije. Prije osnivanja Kvorum AI, Noah je proveo 12 godina u akademskom istraživanju, prvo na Sveučilištu Južne Kalifornije, a nedavno na Northwesternu kao asistent katedre za neurobiologiju. Njegov rad bio je usmjeren na obradu informacija u mozgu, a svoja je istraživanja pretočio u proizvode u proširenoj stvarnosti, sučelja mozak-računalo, računalni vid i ugrađene robotske sustave upravljanja.

Tvoje zanimanje za umjetnu inteligenciju i robotiku počelo je kao dječak. Kako ste se prvi put upoznali s ovim tehnologijama?

Početna iskra došla je iz znanstveno-fantastičnih filmova i ljubavi prema elektronici. Sjećam se da sam kao osmogodišnjak gledao film Tron, nakon čega su slijedećih nekoliko godina slijedili Electric Dreams, Short Circuit, DARYL, War Games i drugi. Iako je prikazano kroz fikciju, sama ideja umjetne inteligencije me oduševila. I iako sam imao samo 8 godina, osjetio sam tu neposrednu povezanost i intenzivnu privlačnost prema umjetnoj inteligenciji koja se od tada nikada nije smanjila.

Kako su se razvile vaše strasti prema jednom i drugom?

Moj interes za umjetnu inteligenciju i robotiku razvijao se paralelno sa strašću prema mozgu. Moj tata je bio učitelj biologije i učio me o tijelu, kako sve funkcionira i kako je sve to povezano. Gledanje umjetne inteligencije i promatranje mozga činilo mi se kao isti problem – ili su barem imali isto krajnje pitanje, a to je bilo: Kako to funkcionira? Zanimalo me i jedno i drugo, ali nisam bio previše izložen umjetnoj inteligenciji ili robotici u školi. Iz tog razloga sam se u početku bavio umjetnom inteligencijom u slobodno vrijeme i studirao biologiju i psihologiju u školi.

Kad sam stigao na koledž, otkrio sam Knjige o paralelnoj distribuiranoj obradi (PDP)., što je za mene bilo ogromno. Oni su bili moje prvo upoznavanje sa stvarnom umjetnom inteligencijom, što me je zatim dovelo natrag do klasika kao što su Hebb, Rosenblatt, Pa čak i McCullocha i Pittsa. Počeo sam graditi neuronske mreže na temelju neuroanatomije i onoga što sam naučio na satu biologije i psihologije u školi. Nakon što sam diplomirao, radio sam kao inženjer računalnih mreža, gradeći složene mreže širokog područja i pišući softver za automatizaciju i upravljanje protokom prometa na tim mrežama – kao da gradim velike mozgove. Rad je ponovno probudio moju strast prema umjetnoj inteligenciji i motivirao me da krenem u diplomsku školu kako bih studirao umjetnu inteligenciju i neuroznanost, a ostalo je povijest.

Prije osnivanja Quorum AI, proveli ste 12 godina u akademskom istraživanju, prvo na Sveučilištu Južne Kalifornije, a nedavno na Northwestern kao asistent katedre za neurobiologiju. U to vrijeme vaš rad bio je usmjeren na obradu informacija u mozgu. Možete li nas provesti kroz neka od ovih istraživanja?

U širem smislu, moje je istraživanje pokušavalo razumjeti pitanje: Kako mozak radi to što radi koristeći samo ono što ima na raspolaganju? Za početak, ne slažem se s idejom da je mozak vrsta računala (u von Neumannovom smislu). Vidim ga kao masivnu mrežu koja uglavnom izvodi operacije podražaja-odgovora i kodiranja signala. Unutar te masivne mreže postoje jasni obrasci povezanosti između funkcionalno specijaliziranih područja. Dok povećavamo, vidimo da neurone nije briga kakav signal nose ili u kojem se dijelu mozga nalaze – oni rade na temelju vrlo predvidljivih pravila. Dakle, ako želimo razumjeti funkciju ovih specijaliziranih područja, moramo postaviti nekoliko pitanja: (1) Dok ulaz putuje kroz mrežu, kako taj unos konvergira s drugim ulazima da proizvede odluku? (2) Kako nastaje struktura tih specijaliziranih područja kao rezultat iskustva? I (3) kako se nastavljaju mijenjati dok koristimo svoj mozak i učimo tijekom vremena? Moje istraživanje pokušalo je odgovoriti na ta pitanja koristeći mješavinu eksperimentalnog istraživanja u kombinaciji s teorijom informacija te modeliranjem i simulacijom – nečim što bi nam moglo omogućiti izgradnju umjetnih sustava odlučivanja i umjetne inteligencije. U smislu neurobiologije, proučavao sam neuroplastičnost i mikroanatomiju specijaliziranih područja poput vidnog korteksa.

Zatim ste svoj rad preveli u proširenu stvarnost i sučelja između mozga i računala. Na kojim ste proizvodima radili?

Otprilike 2008. radio sam na projektu koji bismo sada nazvali proširena stvarnost, ali tada je to bio samo sustav za praćenje i predviđanje pokreta očiju, a zatim korištenje tih predviđanja za ažuriranje nečega na ekranu. Kako bi sustav funkcionirao u stvarnom vremenu, napravio sam biološki inspiriran model koji je predviđao gdje će gledatelj na temelju njegovih mikrosakada – sitnih pokreta očiju koji se događaju neposredno prije nego što pomaknete oko. Koristeći ovaj model, mogao sam predvidjeti kamo će gledatelj gledati, zatim ažurirati međuspremnik okvira u grafičkoj kartici dok su im oči još u pokretu. Dok su njihove oči dosegle to novo mjesto na ekranu, slika je već bila ažurirana. Ovo je radilo na običnom stolnom računalu 2008. godine, bez ikakvog kašnjenja. Tehnika je bila prilično nevjerojatna, ali projekt nije prošao do sljedećeg kruga financiranja, pa je umro.

Godine 2011. uložio sam više usredotočenih napora u razvoj proizvoda i izgradio neuralnu mrežu koja je mogla izvesti otkrivanje značajki na strujanju EEG podataka koje smo mjerili na tjemenu. Ovo je temeljna funkcija većine sustava sučelja mozak-računalo. Projekt je također bio eksperiment na koliko malom otisku ovo možemo pokrenuti? Imali smo slušalice koje su čitale nekoliko kanala EEG podataka na 400 Hz koji su bili poslani putem Bluetootha na Android telefon radi otkrivanja značajki i klasifikacije, a zatim poslani na kontroler s Arduinom koji smo naknadno ugradili u standardni RC automobil. Kada je bila u upotrebi, osoba koja je nosila EEG slušalice mogla je voziti i upravljati automobilom mijenjajući svoje misli od bavljenja mentalnom matematikom do pjevanja pjesme. Algoritam je radio na telefonu i stvorio personalizirani moždani "otisak prsta" za svakog korisnika, omogućujući im da se prebacuju između različitih robotskih uređaja bez potrebe za ponovnim uvježbavanjem na svakom uređaju. Slogan koji smo smislili bio je "Kontrola mozga susreće Plug-and-Play."

U 2012. smo proširili sustav tako da je radio na puno distribuiraniji način na manjem hardveru. Koristili smo ga za kontrolu robotske ruke s više segmenata i zglobova u kojoj je svakim segmentom upravljao neovisni procesor koji je pokretao ugrađenu verziju umjetne inteligencije. Umjesto da koristimo centralizirani upravljač za upravljanje rukom, dopustili smo segmentima da se sami organiziraju i dosegnu svoj cilj na distribuiran način poput roja. Drugim riječima, poput mravi koji tvore mravlji most, segmenti ruku bi surađivali kako bi dosegli neki cilj u svemiru.

Nastavili smo se kretati u istom smjeru kada smo prvi put pokrenuli Quorum AI – izvorno poznat kao Quorum Robotics – još 2013. Brzo smo shvatili da je sustav sjajan zbog algoritma i arhitekture, a ne hardvera, pa smo krajem 2014. okrenuli potpuno u softver. Sada, 8 godina kasnije, Quorum AI dolazi u puni krug, vraća se tim korijenima robotike primjenom našeg okvira na NASA Space Robotics Challenge.

Napustiti svoj posao profesora kako biste pokrenuli start-up morala je biti teška odluka. Što vas je potaknulo na ovo?

Bio je to veliki skok za mene na mnogo načina, ali kad se ukazala prilika i put postao jasan, bila je to laka odluka. Kad ste profesor, razmišljate u višegodišnjim okvirima i radite na vrlo dugoročnim istraživačkim ciljevima. Pokretanje start-upa je upravo suprotno od toga. Međutim, jedna stvar koja je zajednička akademskom životu i start-up životu je da oboje zahtijevaju da neprestano učite i rješavate probleme. U start-upu to bi moglo značiti pokušaj ponovnog projektiranja rješenja kako bi se smanjio rizik razvoja proizvoda ili možda proučavanje nove vertikale koja bi mogla imati koristi od naše tehnologije. Rad u umjetnoj inteligenciji je nešto najbliže "pozivu" kakav sam ikada osjećao, tako da unatoč svim izazovima i usponima i padovima, osjećam se neizmjerno sretnim što radim posao koji radim.

Od tada ste razvili Quorum AI, koji razvija distribuiranu umjetnu inteligenciju u stvarnom vremenu za sve uređaje i platforme. Možete li pojasniti što točno ova AI platforma radi?

Platforma se zove Okruženje za virtualne agente (EVA) i omogućuje korisnicima izradu, obuku i implementaciju modela pomoću našeg Engram AI Enginea. Engram je fleksibilan i prenosiv omot koji smo izgradili oko naših algoritama učenja bez nadzora. Algoritmi su toliko učinkoviti da mogu učiti u stvarnom vremenu, budući da model generira predviđanja. Budući da algoritmi ne ovise o zadacima, nema eksplicitnog ulaza ili izlaza za model, tako da se predviđanja mogu napraviti na Bayesov način za bilo koju dimenziju bez ponovne obuke i bez pate od katastrofalnog zaboravljanja. Modeli su također transparentni i rastavljivi, što znači da se mogu ispitati i rastaviti na pojedinačne dimenzije bez gubitka onoga što je naučeno.

Jednom izgrađeni, modeli se mogu implementirati putem EVA-e na bilo koju vrstu platforme, od prilagođenog ugrađenog hardvera do oblaka. EVA (i ugradivi glavni softver) također sadrži nekoliko alata za proširenje funkcionalnosti svakog modela. Nekoliko brzih primjera: Modeli se mogu dijeliti između sustava putem sustava objavljivanja/pretplate, omogućujući distribuiranim sustavima postizanje federalnog učenja u vremenu i prostoru. Modeli se također mogu implementirati kao autonomni agenti za obavljanje proizvoljnih zadataka, a budući da model ne ovisi o zadacima, zadatak se može promijeniti tijekom izvođenja bez ponovne obuke. Svaki pojedinačni agent može se proširiti privatnom "virtualnom" EVA, omogućujući agentu da simulira modele drugih agenata na način bez skaliranja. Konačno, stvorili smo neke omote za sustave dubokog učenja i učenja s pojačanjem (temeljene na Kerasu) kako bismo omogućili tim modelima da rade na platformi, zajedno s fleksibilnijim sustavima temeljenim na Engramu.

Prethodno ste algoritme Quorum AI opisali kao “matematičku poeziju”. Što si mislio s ovim?

Kada gradite model, bilo da modelirate mozak ili modelirate podatke o prodaji za svoje poduzeće, počinjete popisom svojih podataka, zatim isprobavate poznate klase modela kako biste pokušali približiti sustav . U biti, stvarate grube skice sustava kako biste vidjeli što najbolje izgleda. Ne očekujete da će stvari dobro odgovarati podacima i postoje pokušaji i pogreške dok testirate različite hipoteze o tome kako sustav funkcionira, ali uz malo finoće možete prilično dobro uhvatiti podatke.

Dok sam modelirao neuroplastičnost u mozgu, počeo sam s uobičajenim pristupom mapiranja svih molekularnih putova, prijelaznih stanja i dinamike za koje sam mislio da bi bile važne. Ali to sam otkrio kad sam smanjen sustav na njegove najosnovnije komponente i rasporedio te komponente na određeni način, model je postajao sve precizniji dok nije gotovo savršeno odgovarao podacima. Bilo je kao da su svaki operator i varijabla u jednadžbama upravo onakvi kakvi trebaju biti, nije bilo ničeg ekstra i sve je bilo bitno za uklapanje podataka.

Kad sam uključio model u sve veće i veće simulacije, poput razvoja vizualnog sustava ili prepoznavanja lica, na primjer, mogao je oblikovati iznimno komplicirane obrasce povezivanja koji su odgovarali onome što vidimo u mozgu. Budući da je model bio matematički, ti se obrasci mozga mogu razumjeti matematičkom analizom, dajući novi uvid u ono što mozak uči. Od tada smo riješili i pojednostavili diferencijalne jednadžbe koje čine model, poboljšavajući učinkovitost računanja za više redova veličine. Možda to nije prava poezija, ali je tako izgledalo!

Skup alata platforme Quorum AI omogućuje međusobno povezivanje uređaja radi učenja i dijeljenja podataka bez potrebe za komunikacijom putem poslužitelja temeljenih na oblaku. Koje su prednosti ovakvog načina rada u odnosu na korištenje oblaka?

Korisnicima dajemo mogućnost postavljanja svoje umjetne inteligencije gdje god žele, bez ugrožavanja funkcionalnosti umjetne inteligencije. Status quo u razvoju umjetne inteligencije je takav da su tvrtke obično prisiljene ugroziti sigurnost, privatnost ili funkcionalnost jer im je jedina opcija korištenje usluga umjetne inteligencije temeljenih na oblaku. Ako tvrtke ipak pokušaju izgraditi vlastitu umjetnu inteligenciju unutar kuće, to često zahtijeva mnogo novca i vremena, a ROI je rijetko vrijedan rizika. Ako tvrtke žele implementirati AI na pojedinačne uređaje koji nisu povezani s oblakom, projekt brzo postaje nemoguć. Kao rezultat toga, usvajanje umjetne inteligencije postaje fantazija.

Naša platforma čini AI dostupnom i pristupačnom, dajući tvrtkama način da istraže razvoj i usvajanje AI bez tehničkih ili financijskih troškova. Štoviše, naša platforma omogućuje korisnicima prijelaz od razvoja do implementacije u jednom besprijekornom koraku.

Naša se platforma također integrira s drugim "naslijeđenim" modelima kao što su dubinsko učenje ili učenje s pojačanjem i produljuje im rok trajanja, pomažući tvrtkama da prenamijene i integriraju postojeće sustave u novije aplikacije. Slično tome, budući da su naši algoritmi i arhitekture jedinstveni, naši modeli nisu crne kutije, tako da sve što sustav nauči ljudi mogu istražiti i protumačiti, a zatim proširiti na druga područja poslovanja.

Neki vjeruju da bi Distribuirana umjetna inteligencija (DAI) mogla voditi do Opće umjetne inteligencije (AGI). Pristajete li na ovu teoriju?

Da, i to ne samo zato što je to put koji smo sami sebi zacrtali! Kada pogledate mozak, on nije monolitan sustav. Sastoji se od zasebnih, distribuiranih sustava od kojih je svaki specijaliziran za uzak raspon moždanih funkcija. Možda ne znamo što određeni sustav radi, ali znamo da njegove odluke značajno ovise o vrsti informacija koje prima i o tome kako se te informacije mijenjaju tijekom vremena. (Zbog toga su teme neuroznanosti poput konektom tako su popularni.)

Po mom mišljenju, ako želimo izgraditi umjetnu inteligenciju koja je fleksibilna i koja se ponaša i radi poput mozga, onda ima smisla razmotriti distribuirane arhitekture poput onih koje vidimo u mozgu. Moglo bi se tvrditi da se arhitekture dubokog učenja kao što su višeslojne mreže ili CNN-ovi mogu pronaći u mozgu, i to je istina, ali te se arhitekture temelje na onome što smo znali o mozgu Prije 50 godina.

Alternativa DAI-u je nastavak ponavljanja na monolitnim, nefleksibilnim arhitekturama koje su usko povezane s jednim prostorom odlučivanja, poput onih koje vidimo u dubokom učenju ili učenju s pojačanjem (ili bilo kojoj nadziranoj metodi učenja, što se toga tiče). Predlažem da ta ograničenja nisu samo stvar podešavanja parametara ili dodavanja slojeva ili uvjetovanja podataka – ta su pitanja temeljna za duboko učenje i učenje s potkrepljenjem, barem kako ih definiramo danas, pa su potrebni novi pristupi ako želimo kako bismo nastavili s inovacijama i izgradnjom AI sutrašnjice.

Vjerujete li da je postizanje AGI-a korištenjem DAI-ja vjerojatnije od učenja s pojačanjem i/ili metoda dubokog učenja kojima se trenutno bave tvrtke kao što su OpenAI i DeepMind?

Da, iako iz onoga o čemu pišu na blogu, sumnjam da OpenAI i DeepMind koriste više distribuiranih arhitektura nego što govore. Počinjemo čuti sve više o višesistemskim izazovima kao što je prijenos učenja ili udruženo/distribuirano učenje, i slučajno, o tome kako pristupi dubokog učenja i učenja s pojačanjem neće funkcionirati za te izazove. Također počinjemo čuti od pionira poput Yoshue Bengia o tome kako biološki inspirirane arhitekture mogu premostiti jaz! Radim na biološki inspiriranoj umjetnoj inteligenciji gotovo 20 godina, tako da se osjećam jako dobro zbog onoga što smo naučili u Quorum AI i kako to koristimo za izgradnju onoga za što vjerujemo da je sljedeća generacija umjetne inteligencije koja će nadvladati ova ograničenja.

Postoji li još nešto što biste željeli podijeliti o Quorum AI?

Pregledat ćemo našu novu platformu za distribuiranu umjetnu inteligenciju temeljenu na agentima na Konferencija o federalnom i distribuiranom strojnom učenju u lipnju 2020. Tijekom razgovora planiram predstaviti neke nedavne podatke o nekoliko tema, uključujući analizu osjećaja kao most za postizanje empatične umjetne inteligencije.

Želio bih posebno zahvaliti Noi na ovim nevjerojatnim odgovorima i preporučio bih vam da posjetite Kvorum biste saznali više.