Noah Schwartz, spoluzakladatel a CEO Quorum AI – rozhovor

Noah je architekt systémů umělé inteligence. Před založením Quorum AI strávil Noah 12 let ve vědeckém výzkumu, nejprve na University of Southern California a naposledy na Northwestern jako zástupce předsedy neurobiologie. Jeho práce se zaměřila na zpracování informací v mozku a podařilo se mu přenést své výzkumy do produktů v oblasti rozšířené reality, rozhraní mozek-počítač, počítačového vidění a vestavěných robotických kontrolních systémů.

Vaše zájem o umělou inteligenci a robotiku začal už jako malé dítě. Jak jste se poprvé setkal s těmito technologiemi?

První impuls přišel ze sci-fi filmů a lásky k elektronikám. Pamatuji si, jak jsem jako osmiletý viděl film Tron, následovaný Electric Dreams, Short Circuit, DARYL, War Games a dalšími filmy v následujících letech. Ačkoli to bylo prezentováno formou fikce, samotná myšlenka umělé inteligence mě ohromila. A přestože mi bylo pouze osm let, cítil jsem okamžitou spojitost a intenzivní přitažlivost k umělé inteligenci, která se od té doby nezměnila.

Jak se vaše vášně pro obě oblasti vyvinuly?

Můj zájem o umělou inteligenci a robotiku se vyvinul souběžně s vášní pro mozek. Můj otec byl učitelem biologie a učil mě o těle, o tom, jak všechno funguje a jak je všechno propojeno. Pohled na umělou inteligenci a pohled na mozek se mi zdál jako stejný problém – nebo alespoň měly stejnou konečnou otázku, která zněla: Jak to funguje? Byl jsem zvědavý na obě oblasti, ale ve škole jsem neměl mnoho příležitostí se s umělou inteligencí a robotikou seznámit. Proto jsem se nejprve věnoval biologii a psychologii ve škole.

Na vysoké škole jsem objevil knihy o paralelním distribuovaném zpracování (PDP), které pro mě byly obrovským zjištěním. Byly to mé první seznámení s opravdovou umělou inteligencí, což mě následně vedlo k klasikům jako Hebb, Rosenblatt a dokonce McCulloch a Pitts. Začal jsem budovat neuronové sítě založené na neuroanatomii a na tom, co jsem se naučil z biologie a psychologie ve škole. Po dokončení školy jsem pracoval jako inženýr počítačových sítí, buduji komplexní širokopásmové sítě a psal software pro automatizaci a správu toku dat na těchto sítích – trochu jako budování velkých mozků. Práce znovu rozžehla mou vášeň pro umělou inteligenci a motivovala mě jít na postgraduální studium, aby jsem studoval umělou inteligenci a neurovědu, a zbytek je historie.

Před založením Quorum AI jste strávil 12 let ve vědeckém výzkumu, nejprve na University of Southern California a naposledy na Northwestern jako zástupce předsedy neurobiologie. V té době se vaše práce zaměřila na zpracování informací v mozku. Můžete nás provést některými z těchto výzkumů?

V širokém smyslu můj výzkum se snažil pochopit otázku: Jak mozek dělá to, co dělá pouze s tím, co má k dispozici? Nejprve jsem se neztotožňoval s myšlenkou, že mozek je druh počítače (ve smyslu von Neumanna). Vidím ho jako obrovskou síť, která většinou provádí operace stimulus-reakce a signál-kódování. V rámci této obrovské sítě existují zřetelné vzorce propojení mezi funkčně specializovanými oblastmi. Když se přiblížíme, vidíme, že neurony se nezajímají o signál, který přenášejí, nebo o část mozku, ve které se nachází – fungují na základě velmi předvídatelných pravidel. Pokud chceme pochopit funkci těchto specializovaných oblastí, musíme položit několik otázek: (1) Jak se vstupní signál spojí s jinými vstupy, aby produkoval rozhodnutí? (2) Jak se struktura těchto specializovaných oblastí vytváří jako výsledek zkušeností? A (3) jak se dále mění, když používáme mozek a učíme se s časem? Můj výzkum se snažil zodpovědět tyto otázky pomocí kombinace experimentálního výzkumu, teorie informace a modelování a simulace – něco, co by nám umožnilo budovat umělá rozhodovací systémy a umělou inteligenci. V neurobiologických termínech jsem studoval neuroplasticitu a mikroanatomii specializovaných oblastí, jako je vizuální kůra.

Pak jste své výzkumy přetvořil do rozšířené reality a rozhraní mozek-počítač. Jaké produkty jste na nich pracoval?

Around 2008, I was working on a project that we would now call augmented reality, but back then, it was just a system for tracking and predicting eye movements, and then using those predictions to update something on the screen. To make the system work in realtime, I built a biologically-inspired model that predicted where the viewer would based on their microsaccades – tiny eye movements that occur just before you move your eye. Using this model, I could predict where the viewer would look, then update the frame buffer in the graphics card while their eyes were still in motion. By the time their eyes reached that new location on the screen, the image was already updated. This ran on an ordinary desktop computer in 2008, without any lag. The tech was pretty amazing, but the project didn’t get through to the next round of funding, so it died.

In 2011, I made a more focused effort at product development and built a neural network that could perform feature discovery on streaming EEG data that we measured from the scalp. This is the core function of most brain-computer interface systems. The project was also an experiment in how small of a footprint could we get this running on? We had a headset that read a few channels of EEG data at 400Hz that were sent via Bluetooth to an Android phone for feature discovery and classification, then sent to an Arduino-powered controller that we retrofitted into an off-the-shelf RC car. When in use, an individual who was wearing the EEG headset could drive and steer the car by changing their thoughts from doing mental math to singing a song. The algorithm ran on the phone and created a personalized brain “fingerprint” for each user, enabling them to switch between a variety of robotic devices without having to retrain on each device. The tagline we came up with was “Brain Control Meets Plug-and-Play.”

In 2012, we extended the system so it operated in a much more distributed manner on smaller hardware. We used it to control a multi-segment, multi-joint robotic arm in which each segment was controlled by an independent processor that ran an embedded version of the AI. Instead of using a centralized controller to manipulate the arm, we allowed the segments to self-organize and reach their target in a swarm-like, distributed manner. In other words, like ants forming an ant bridge, the arm segments would cooperate to reach some target in space.

We continued moving in this same direction when we first launched Quorum AI – originally known as Quorum Robotics – back in 2013. We quickly realized that the system was awesome because of the algorithm and architecture, not the hardware, so in late 2014, we pivoted completely into software. Now, 8 years later, Quorum AI is coming full-circle, back to those robotics roots by applying our framework to the NASA Space Robotics Challenge.

Odejít z práce profesora a založit startup musel být pro vás obtížné rozhodnutí. Co vás k tomu inspirovalo?

Byl to obrovský skok pro mě ve mnoha směrech, ale jakmile se objevila příležitost a cesta se stala jasnou, bylo to snadné rozhodnutí. Když jste profesorem, myslíte v časových rámcích několika let a pracujete na velmi dlouhodobých výzkumných cílech. Založení startupu je přesně opačná situace. Nicméně jedna věc, kterou má akademický život a život startupu společnou, je to, že obě vyžadují, abyste se neustále učili a řešili problémy. V startupu to může znamenat pokusy o přepracování řešení, aby se snížilo riziko produktového rozvoje, nebo třeba studium nové vertikály, která by mohla využít naší technologie. Práce v oblasti umělé inteligence je nejbližší věc k “povolání”, jakou jsem kdy cítil, takže navzdory všem výzvám a vzestupům a pádům se cítím nesmírně šťastný, že dělám práci, kterou dělám.

Později jste vyvinul Quorum AI, který vyvíjí umělou inteligenci v reálném čase, distribuovanou pro všechny zařízení a platformy. Můžete vysvětlit, co přesně tato platforma umělé inteligence dělá?

Platforma se jmenuje Environment for Virtual Agents (EVA) a umožňuje uživatelům budovat, trénovat a nasazovat modely pomocí našeho Engram AI Engine. Engram je flexibilní a přenositelný obal, který jsme postavili kolem našich algoritmů nesupervizovaného učení. Algoritmy jsou tak efektivní, že se mohou učit v reálném čase, zatímco model generuje předpovědi. Protože algoritmy jsou úkolem-agnostic, není explicitní vstup nebo výstup modelu, takže předpovědi lze dělat bayesovským způsobem pro jakoukoli dimenzi bez opětovného trénování a bez katastrofického zapomínání. Modely jsou také transparentní a dekomponovatelné, což znamená, že je lze prozkoumat a rozložit na jednotlivé dimenze bez ztráty toho, co se naučily.

Jakmile jsou modely postaveny, lze je nasadit prostřednictvím EVA na jakoukoli platformu, od vlastních vestavěných hardwarů až po cloud. EVA (a softwarová část) také obsahuje několik nástrojů pro rozšíření funkčnosti každého modelu. Několik rychlých příkladů: Modely lze sdílet mezi systémy prostřednictvím publikačního a předplatného systému, což umožňuje distribuovaným systémům dosáhnout federovaného učení v čase a prostoru. Modely lze také nasadit jako autonomní agenti pro provádění libovolných úkolů, a protože model je úkol-agnostic, úkol lze změnit během runtime bez opětovného trénování. Každý agent lze rozšířit o privátní “virtuální” EVA, což umožňuje agentovi simulovat modely jiných agentů ve scale-free způsobem. Nakonec jsme vytvořili některé obaly pro hluboké učení a učení s posilováním (Keras-based) systémů, aby tyto modely mohly fungovat na platformě, v koncertu s flexibilnějšími Engram-based systémy.

Předtím jste popsal algoritmy Quorum AI jako “matematickou poezii”. Co jste tím myslel?

Když stavíte model, ať už modelujete mozek nebo modelujete prodejní data pro vaši firmu, začínáte tím, že si vezmete inventuru svých dat, a pak vyzkoušíte známé třídy modelů, abyste se pokusili aproximovat systém. V podstatě vytváříte hrubé náčrtky systému, abyste viděli, co vypadá nejlépe. Nečekáte, že věci budou fungovat velmi dobře, a je tam trochu pokusů a omylů, když testujete různé hypotézy o tom, jak systém funguje, ale s určitou dovedností můžete zachytit data poměrně dobře.

Když jsem modeloval neuroplasticitu v mozku, začal jsem obvyklým přístupem mapování všech molekulárních cest, přechodných stavů a dynamiky, které jsem si myslel, že budou důležité. Ale zjistil jsem, že když snižuji systém na jeho nejzákladnější komponenty a uspořádám tyto komponenty určitým způsobem, model se stal stále přesnější, až téměř dokonale odpovídal datům. Bylo to, jako by každý operátor a proměnná v rovnicích byly přesně takové, jaké měly být, nebylo tam nic navíc, a všechno bylo nezbytné pro přizpůsobení se datům.

Když jsem zapojil model do větších a větších simulací, jako je vývoj vizuálního systému nebo rozpoznávání obličeje, například, byl schopen vytvořit extrémně komplikované vzorce propojení, které odpovídaly tomu, co vidíme v mozku. Protože model byl matematický, tyto mozkové vzorce mohly být pochopeny prostřednictvím matematické analýzy, což poskytlo nové pohledy na to, co mozek učí. Od té doby jsme vyřešili a zjednodušili diferenciální rovnice, které tvoří model, zlepšili výpočetní efektivitu o několik řádů. Možná to není skutečná poezie, ale cítím se tak!

Quorum AI nabízí toolkit, který umožňuje zařízením připojit se k sobě navzájem, aby se učily a sdílely data bez nutnosti komunikovat prostřednictvím cloudových serverů. Jaké jsou výhody tohoto přístupu oproti použití cloudu?

Dáváme uživatelům možnost umístit svou umělou inteligenci kamkoli chtějí, bez kompromisů ve funkčnosti umělé inteligence. Současný stav vývoje umělé inteligence je takový, že společnosti jsou obvykle nuceny kompromisovat bezpečnost, soukromí nebo funkčnost, protože jejich jedinou možností je použití cloudových služeb umělé inteligence. Pokud společnosti pokusy budovat svou vlastní umělou inteligenci, často vyžaduje mnoho peněz a času, a návratnost investic je zřídka dostatečná, aby ospravedlnila riziko. Pokud společnosti chtějí nasadit umělou inteligenci do jednotlivých zařízení, která nejsou cloudově propojena, projekt se rychle stává nemožným. Jako výsledek, adopce umělé inteligence se stává fantazií.

Naše platforma činí umělou inteligenci dostupnou a dostupnou, poskytující společnostem způsob, jak prozkoumat vývoj a adopci umělé inteligence bez technických nebo finančních nákladů. A navíc, naše platforma umožňuje uživatelům jít od vývoje k nasazení v jednom plynulém kroku.

Naše platforma také integruje a prodlužuje životnost jiných “legacy” modelů, jako je hluboké učení nebo učení s posilováním, pomáhajíc společnostem repurporovat a integrovat existující systémy do nových aplikací. Podobně, protože naše algoritmy a architektury jsou jedinečné, naše modely nejsou černé skříňky, takže cokoliv, co systém naučí, může být prozkoumáno a interpretováno lidmi, a poté rozšířeno do jiných oblastí podnikání.

Někteří lidé se domnívají, že distribuovaná umělá inteligence (DAI) by mohla vést k umělé obecné inteligenci (AGI). Přisuzujete se k této teorii?

Ano, a ne pouze proto, že je to cesta, kterou jsme si sami vybrali! Když se podíváme na mozek, není to monolitický systém. Je tvořen samostatnými, distribuovanými systémy, které se specializují na úzký rozsah mozkových funkcí. Možná nevíme, co konkrétní systém dělá, ale víme, že jeho rozhodnutí závisí výrazně na typu informací, které přijímá, a na tom, jak se tyto informace mění s časem. (To je důvod, proč jsou neurovědní témata, jako je connectom, tak populární.)

Podle mého názoru, pokud chceme postavit umělou inteligenci, která je flexibilní a chová se a funguje jako mozek, pak má smysl zvažovat distribuované architektury, jako ty, které vidíme v mozku. Jedna lehet argumentovat, že architektury hlubokého učení, jako jsou vícevrstvé sítě nebo CNN, se mohou nacházet v mozku, a to je pravda, ale tyto architektury jsou založeny na tom, co jsme věděli o mozku před 50 lety.

Alternativou k DAI je pokračovat v iteracích na monolitických, inflexibilních architekturách, které jsou těsně spojeny s jedním rozhodovacím prostorem, jako jsou ty, které vidíme v hlubokém učení nebo učení s posilováním (nebo jakýchkoli supervizovaných metodách učení, pokud jde o to). Domnívám se, že tyto omezení nejsou pouze otázkou parametrů nebo přidání vrstev nebo datového kondicionování – tyto problémy jsou fundamentální pro hluboké učení a učení s posilováním, alespoň tak, jak je definujeme dnes, takže jsou vyžadovány nové přístupy, pokud chceme pokračovat v inovacích a budování umělé inteligence zítřka.

Domníváte se, že dosažení AGI pomocí DAI je pravděpodobnější než pomocí metod učení s posilováním a hlubokého učení, které jsou nyní sledovány společnostmi, jako je OpenAI a DeepMind?

Ano, ačkoli z toho, co píší, se zdá, že OpenAI a DeepMind používají více distribuovaných architektur, než se zdá. Začínáme slyšet více o vícesystémových výzvách, jako je transferové učení nebo federované/distribuované učení, a současně o tom, jak přístupy hlubokého učení a učení s posilováním nebudou fungovat pro tyto výzvy. Začínáme také slyšet od průkopníků, jako je Yoshua Bengio, o tom, jak biologicky inspirované architektury by mohly most mezi těmito mezery! Pracuji na biologicky inspirované umělé inteligenci téměř 20 let, takže se cítím velmi dobře o tom, co jsme se naučili v Quorum AI a jak používáme to k budování toho, co věříme, že je další generace umělé inteligence, která překoná tyto omezení.

Je něco jiného, co byste rádi sdíleli o Quorum AI?

Budeme prezentovat naší novou platformu pro distribuovanou a agentní umělou inteligenci na Federated a Distributed Machine Learning Conference v červnu 2020. Během prezentace plánuji představit některé recentní údaje na několik témat, včetně sentimentální analýzy jako mostu k dosažení empatické umělé inteligence.

Rád bych poděkoval Noahovi za tyto úžasné odpovědi, a doporučuji vám navštívit Quorum, abyste se dozvěděli více.