Noah Schwartz, spoluzakladatel a CEO Quorum AI – Interview Series

Noah je architekt systémů umělé inteligence. Před založením Quorum AI strávil Noah 12 let ve vědeckém výzkumu, nejprve na University of Southern California a naposledy na Northwestern jako zástupce předsedy neurobiologie. Jeho práce se zaměřila na zpracování informací v mozku a podařilo se mu přeložit své výzkumy do produktů v oblasti rozšířené reality, rozhraní mozek-počítač, počítačového vidění a vestavěných systémů řízení robotiky.

Vaše zájem o AI a robotiku začal jako malý chlapec. Jak jste byli poprvé představeni těmto technologiím?

Základní jiskra přišla ze sci-fi filmů a lásky k elektronikám. Pamatuji si, jak jsem jako osmiletý sledoval film Tron, následovaný Electric Dreams, Short Circuit, DARYL, War Games a dalšími v následujících letech. Ačkoli to bylo prezentováno formou fikce, samotná myšlenka umělé inteligence mě ohromila. A přestože mi bylo pouze osm let, cítil jsem okamžitou souvislost a intenzivní přitažlivost k AI, která se od té doby nezměnila.

Jak se vaše vášně pro obě oblasti vyvinuly?

Můj zájem o AI a robotiku se vyvinul souběžně s vášní pro mozek. Můj otec byl učitelem biologie a učil mě o těle, jak všechno funguje a jak je vše propojeno. Pohled na AI a pohled na mozek se mi zdál jako stejný problém – nebo alespoň měly stejnou konečnou otázku, která zněla, Jak to funguje? Byl jsem zvědavý na obě oblasti, ale ve škole jsem neměl mnoho příležitostí se AI nebo robotice věnovat. Proto jsem se AI věnoval ve svém volném čase a studoval biologii a psychologii ve škole.

Když jsem nastoupil na vysokou školu, objevil jsem knihy o paralelním distribuovaném zpracování (PDP), které pro mě byly obrovským zdrojem inspirace. Byly to mé první seznámení s opravdovou AI, které mě poté vedly k klasikům jako Hebb, Rosenblatt a dokonce McCulloch a Pitts. Začal jsem budovat neuronové sítě na základě neuroanatomie a toho, co jsem se naučil z biologie a psychologie ve škole. Po ukončení studií pracoval jsem jako inženýr počítačových sítí, budující komplexní sítě a píšící software pro automatizaci a správu toku dat v těchto sítích – trochu jako budování velkých mozků. Práce znovu rozžehla mou vášeň pro AI a motivovala mě jít na postgraduální studium, aby jsem studoval AI a neurovědu, a zbytek je historie.

Před založením Quorum AI jste strávil 12 let ve vědeckém výzkumu, nejprve na University of Southern California a naposledy na Northwestern jako zástupce předsedy neurobiologie. V té době se vaše práce zaměřila na zpracování informací v mozku. Můžete nás provést některými z těchto výzkumů?

V širokém smyslu se můj výzkum snažil pochopit otázku: Jak mozek dělá to, co dělá pouze pomocí toho, co má k dispozici? Nejprve si nemyslím, že mozek je typ počítače (ve smyslu von Neumanna). Vidím ho jako obrovskou síť, která většinou provádí operace stimulus-reakce a kódování signálů. V rámci této obrovské sítě existují zřejmé vzorce propojení mezi funkčně specializovanými oblastmi. Když se přiblížíme, vidíme, že neurony se nezajímají o to, jaký signál přenášejí nebo v jaké části mozku jsou – fungují na základě velmi předvídatelných pravidel. Pokud chceme pochopit funkci těchto specializovaných oblastí, musíme položit několik otázek: (1) Jak se vstup, který prochází sítí, spojuje s jinými vstupy, aby produkoval rozhodnutí? (2) Jak se struktura těchto specializovaných oblastí vytváří jako výsledek zkušeností? A (3) jak pokračují v změnách, když používáme naše mozky a učíme se s časem? Můj výzkum se snažil zodpovědět tyto otázky pomocí kombinace experimentálního výzkumu, teorie informace a modelování a simulace – něco, co by nám umožnilo budovat umělé rozhodovací systémy a AI. Z hlediska neurobiologie jsem studoval neuroplasticitu a mikroanatomii specializovaných oblastí, jako je vizuální kůra.

Pak jste své výzkumy přeložili do rozšířené reality a rozhraní mozek-počítač. Jaké produkty jste na nich pracovali?

Kolem roku 2008 jsem pracoval na projektu, který bychom dnes nazvali rozšířenou realitou, ale tenkrát to byla pouze systém pro sledování a předpovídání pohybů očí a následné aktualizování něčeho na obrazovce. Abychom systém mohli spustit v reálném čase, vytvořil jsem biologicky inspirovaný model, který předpovídal, kam se divák bude dívat, na základě jeho mikrosakád – malých pohybů očí, které se vyskytují těsně před tím, než přesunete oči. Pomocí tohoto modelu jsem mohl předpovědět, kam se divák bude dívat, a aktualizovat frame buffer na grafické kartě, zatímco jeho oči byly stále v pohybu. Do doby, než jeho oči dosáhly nového umístění na obrazovce, byla obrazovka již aktualizována. Tento systém běžel na obyčejném počítači v roce 2008, bez jakýchkoli zpoždění. Technologie byla bastante úžasná, ale projekt neprošel do dalšího kola financování, takže zemřel.

V roce 2011 jsem se více soustředil na vývoj produktů a vytvořil neuronovou síť, která mohla provádět objevování funkcí na datových proudech EEG, které jsme měřili ze skalpu. Tato funkce je jádrem většiny systémů rozhraní mozek-počítač. Projekt byl také experimentem v tom, jak malou stopu jsme mohli tento systém spustit? Měli jsme headset, který četl několik kanálů EEG dat na 400Hz, která byla odeslána prostřednictvím Bluetooth na telefon Android pro objevování funkcí a klasifikaci, a poté odeslána na Arduino-pohoněný kontrolér, který jsme přizpůsobili do standardního RC auta. Když byl systém v provozu, jedinec, který nosil headset EEG, mohl řídit a ovládat auto změnou svých myšlenek z provádění mentální matematiky na zpívání písně. Algoritmus běžel na telefonu a vytvořil osobní “otisk mozku” pro každého uživatele, umožňující jim přepínat mezi různými robotickými zařízeními bez nutnosti opětovného trénování na každém zařízení. Název, který jsme pro něj vymysleli, byl “Rozhraní mozek-počítač potkává se s plug-and-play.”

V roce 2012 jsme systém rozšířili, aby fungoval v mnohem více distribuovaném způsobem na menším hardwaru. Použili jsme ho k ovládání vícesegmentového, vícekloubového robotického ramene, kde každý segment byl ovládán nezávislým procesorem, který běžel vloženou verzí AI. Místo použití centralizovaného kontroléru pro manipulaci s ramenem jsme umožnili segmentům sebeorganizovat a dosáhnout cíle ve stylu roje. Jinými slovy, jako mravenci, kteří vytvářejí most, segmenty ramene spolupracovaly, aby dosáhly cíle v prostoru.

Pokračovali jsme ve stejném směru, když jsme poprvé spustili Quorum AI – původně známý jako Quorum Robotics – zpět v roce 2013. Brzy jsme si uvědomili, že systém je úžasný kvůli algoritmu a architektuře, ne hardwaru, takže na konci roku 2014 jsme se zcela otočili do softwaru. Nyní, 8 let později, Quorum AI jde plnou kruhem zpět ke svým kořenům v robotice aplikací naší architektury na NASA Space Robotics Challenge.

Opuštění práce profesora, aby jste založil start-up, muselo být obtížné rozhodnutí. Co vás inspirovalo k tomuto kroku?

Byla to obrovská změna pro mě ve mnoha ohledech, ale jednou, kdy se objevila příležitost a cesta se stala jasnou, bylo to snadné rozhodnutí. Když jste profesor, myslíte v rámci několikaletých období a pracujete na velmi dlouhodobých výzkumných cílech. Založení start-upu je přesně opak toho. Nicméně jedna věc, která má akademický život a start-up život společnou, je, že obě vyžadují, abyste se neustále učí a řešili problémy. V start-upu to může znamenat pokusy o přepracování řešení, aby se snížilo riziko produktového vývoje, nebo možná studium nového vertikálu, který by mohl těžit z naší technologie. Práce v AI je nejbližší věc k “povolání”, jak jsem ji kdy cítil, takže navzdory všem výzvám a vzestupům a pádům se cítím nesmírně šťastný, že dělám práci, kterou dělám.

Můžete vysvětlit, co přesně dělá platforma Quorum AI, která vyvíjí reálnou, distribuovanou umělou inteligenci pro všechna zařízení a platformy?

Platforma se nazývá Environment for Virtual Agents (EVA) a umožňuje uživatelům budovat, trénovat a nasazovat modely pomocí našeho Engram AI Engine. Engram je flexibilní a přenositelný obal, který jsme vytvořili kolem našich algoritmů nesupervizovaného učení. Algoritmy jsou tak efektivní, že mohou učit se v reálném čase, zatímco model generuje předpovědi. Protože algoritmy jsou úkolem-agnostic, není explicitní vstup nebo výstup z modelu, takže předpovědi lze dělat bayesovským způsobem pro jakoukoli dimenzi bez opětovného trénování a bez katastrofického zapomínání. Modely jsou také transparentní a dekomponovatelné, což znamená, že je lze prohlédnout a rozložit na jednotlivé dimenze bez ztráty toho, co se naučily.

Jakmile jsou modely postaveny, lze je nasadit prostřednictvím EVA na jakoukoli platformu, od vlastního vestavěného hardwaru až po cloud. EVA (a software hostitele) také obsahují několik nástrojů pro rozšíření funkčnosti každého modelu. Několik rychlých příkladů: Modely lze sdílet mezi systémy prostřednictvím publikačního a předplatného systému, umožňujícího distribuovaným systémům dosáhnout federovaného učení v čase a prostoru. Modely lze také nasadit jako autonomní agenti pro provádění libovolných úkolů, a protože model je úkolem-agnostic, úkol lze změnit během runtime bez opětovného trénování. Každý jednotlivý agent lze rozšířit o privátní “virtuální” EVA, umožňující agentovi simulovat modely jiných agentů ve stylu bez škály. Nakonec jsme vytvořili einige obaly pro hluboké učení a učení s posílením (Keras-based) systémy, aby mohly fungovat na naší platformě, v koncertu s flexibilnějšími Engram-based systémy.

Předtím jste popsali algoritmy Quorum AI jako “matematickou poezii”. Co jste tím mysleli?

Když stavíte model, ať už modelujete mozek nebo modelujete prodejní data pro vaši firmu, začínáte tím, že inventarizujete svá data, a pak zkoušíte známé třídy modelů, aby jste se pokusili aproximovat systém. V podstatě vytváříte hrubé náčrtky systému, abyste viděli, co vypadá nejlépe. Nečekáte, že věci budou sedět velmi dobře, a je tam trochu pokusů a omylů, když testujete různé hypotézy o tom, jak systém funguje, ale s trochu jemností můžete zachytit data poměrně dobře.

Když jsem modeloval neuroplasticitu v mozku, začal jsem s obvyklým přístupem mapování všech molekulárních cest, přechodných stavů a dynamiky, které jsem si myslel, že budou důležité. Ale zjistil jsem, že když snižuji systém na jeho nejzákladnější komponenty a uspořádal tyto komponenty určitým způsobem, model se stal stále přesnější, až téměř dokonale seděl na data. Bylo to, jako kdyby každý operátor a proměnná v rovnicích byly přesně tím, čím měly být, nebylo tam nic navíc, a všechno bylo nezbytné pro sednutí na data.

Když jsem zapojil model do větších a větších simulací, jako je vývoj vizuálního systému nebo rozpoznávání obličeje, například, byl schopen vytvořit velmi komplikované vzorce propojení, které odpovídaly tomu, co vidíme v mozku. Protože model byl matematický, tyto mozkové vzorce mohly být pochopeny prostřednictvím matematické analýzy, poskytující nové pohledy na to, co mozek učí. Od té doby jsme vyřešili a zjednodušili diferenciální rovnice, které tvoří model, zlepšující výpočetní efektivitu o několik řádů. Možná to není skutečná poezie, ale určitě to tak vypadalo!

Platforma Quorum AI umožňuje zařízením připojit se k sobě, aby se učily a sdílely data bez nutnosti komunikovat přes cloudové servery. Jaké jsou výhody tohoto přístupu oproti použití cloudu?

Poskytujeme uživatelům možnost umístit svou AI kamkoli chtějí, bez kompromisů ve funkčnosti AI. Status quo ve vývoji AI je, že společnosti jsou obvykle nuceny kompromisovat bezpečnost, soukromí nebo funkčnost, protože jejich jedinou možností je použití cloudových služeb AI. Pokud společnosti pokusy budovat svou vlastní AI v rámci firmy, často vyžaduje mnoho peněz a času, a návratnost investic je zřídka dostatečná, aby ospravedlnila riziko. Pokud společnosti chtějí nasadit AI do jednotlivých zařízení, která nejsou cloudově propojena, projekt se rychle stává nemožným. V důsledku toho se adopce AI stává fantazií.

Naše platforma činí AI přístupnou a dostupnou, poskytující společnostem způsob, jak prozkoumat vývoj AI a adopci bez technických nebo finančních nákladů. Kromě toho naše platforma umožňuje uživatelům jít od vývoje k nasazení v jednom bezproblémovém kroku.

Naše platforma také integruje a prodlužuje životnost “legacy” modelů, jako je hluboké učení nebo učení s posílením, pomáhající společnostem znovu využít a integrovat stávající systémy do nových aplikací. Podobně, protože naše algoritmy a architektury jsou jedinečné, naše modely nejsou černé skříňky, takže cokoliv, co systém naučí, může být prozkoumáno a interpretováno lidmi, a poté rozšířeno do dalších oblastí podnikání.

Myslíte, že distribuovaná umělá inteligence (DAI) může vést cestu k umělé obecné inteligenci (AGI)?

Ano, a ne pouze proto, že je to cesta, kterou jsme si sami vybrali! Když se podíváte na mozek, není to monolitický systém. Je to tvořeno samostatnými, distribuovanými systémy, které se specializují na úzký rozsah mozkových funkcí. Možná nevíme, co konkrétní systém dělá, ale víme, že jeho rozhodnutí závisí významně na typu informace, kterou přijímá, a na tom, jak se tato informace mění s časem. (To je důvod, proč jsou neurovědní témata, jako je connectom, tak populární.)

Podle mého názoru, pokud chceme postavit AI, která je flexibilní a chová se a funguje jako mozek, pak má smysl zvažovat distribuované architektury, jako ty, které vidíme v mozku. Někdo by mohl argumentovat, že hluboké učení architektury, jako jsou multi-layerové sítě nebo CNN, lze nalézt v mozku, a to je pravda, ale tyto architektury jsou založeny na tom, co jsme věděli o mozku před 50 lety.

Alternativou k DAI je pokračovat v iteraci monolitických, inflexibilních architektur, které jsou těsně spojeny s jediným rozhodovacím prostorem, jako ty, které vidíme v hlubokém učení nebo učení s posílením (nebo jakýchkoli supervizovaných metodách učení). Domnívám se, že tyto omezení nejsou pouze otázkou parametrů nebo přidávání vrstev nebo úpravy dat – tyto problémy jsou fundamentální pro hluboké učení a učení s posílením, alespoň tak, jak je definujeme dnes, takže jsou vyžadovány nové přístupy, pokud chceme pokračovat v inovacích a budování AI zítřka.

Myslíte, že dosažení AGI pomocí DAI je pravděpodobnější než učení s posílením a/nebo hluboké učení metody, které jsou目前 sledovány společnostmi, jako je OpenAI a DeepMind?

Ano, ačkoli z toho, co píší, jsem přesvědčen, že OpenAI a DeepMind používají více distribuovaných architektur, než se zdá. Začínáme slyšet více o multi-systémových výzvách, jako je transferové učení nebo federované/distribuované učení, a náhodou o tom, jak hluboké učení a učení s posílením přístupů nebude fungovat pro tyto výzvy. Začínáme také slyšet od průkopníků, jako je Yoshua Bengio, o tom, jak biologicky inspirované architektury by mohly překlenout mezery! Pracoval jsem na biologicky inspirované AI téměř 20 let, takže se cítím velmi dobře o tom, co jsme se naučili v Quorum AI a jak používáme to, aby postavili, co jsme přesvědčeni, že je další generace AI, která překoná tato omezení.

Je něco jiného, co byste chtěli sdílet o Quorum AI?

Budeme poskytovat náhled na naší novou platformu pro distribuovanou a agentní AI na Federated a Distributed Machine Learning Conference v červnu 2020. Během přednášky plánuji prezentovat některé recentní údaje na několik témat, včetně sentimentální analýzy jako mostu k dosažení empatické AI.

Chtěl bych poděkovat Noahu za tyto úžasné odpovědi a doporučuji navštívit Quorum, aby se dozvěděli více.