Noah Schwartz, współzałożyciel i CEO Quorum AI – seria wywiadów

Noah jest architektem systemów sztucznej inteligencji. Przed założeniem Quorum AI, Noah spędził 12 lat w badaniach akademickich, najpierw na Uniwersytecie Południowej Kalifornii, a ostatnio na Northwestern jako zastępca przewodniczącego neurobiologii. Jego praca koncentrowała się na przetwarzaniu informacji w mózgu i udało mu się przetłumaczyć swoje badania na produkty w dziedzinie rzeczywistości rozszerzonej, interfejsów mózg-komputer, widzenia komputerowego i systemów sterowania robotami wbudowanymi.

Jaki był początek Twojego zainteresowania sztuczną inteligencją i robotyką?

Początkowy impuls przyszedł z filmów science fiction i miłości do elektroniki. Pamiętam, jak jako ośmiolatek obejrzałem film Tron, a potem Electric Dreams, Short Circuit, DARYL, War Games i inne w ciągu kilku następnych lat. Chociaż były one przedstawione w sposób fikcyjny, idea sztucznej inteligencji zaskoczyła mnie. I chociaż miałem tylko 8 lat, poczułem natychmiastową więź i silne przyciąganie do sztucznej inteligencji, które nie zmniejszyło się od tego czasu.

Jak Twoje pasje dla sztucznej inteligencji i robotyki ewoluowały?

Mój zainteresowanie sztuczną inteligencją i robotyką rozwinęło się równolegle z pasją do mózgu. Mój ojciec był nauczycielem biologii i uczył mnie o ciele, jak wszystko działa i jak wszystko jest połączone. Patrząc na sztuczną inteligencję i patrząc na mózg, wydawało mi się, że jest to ten sam problem – lub przynajmniej ten sam ostateczny вопрос, który brzmi: Jak to działa? Byłem zainteresowany oboma, ale nie miałem zbyt wielkiego dostępu do sztucznej inteligencji i robotyki w szkole. Dlatego początkowo zajmowałem się sztuczną inteligencją na własną rękę i studiowałem biologię i psychologię w szkole.

Kiedy dostałem się na studia, odkryłem książki o przetwarzaniu rozproszonym (PDP), co było dla mnie ogromnym odkryciem. Były to moje pierwsze spotkanie z prawdziwą sztuczną inteligencją, co następnie skierowało mnie do klasycznych autorów, takich jak Hebb, Rosenblatt i nawet McCulloch i Pitts. Zacząłem budować sieci neuronowe oparte na neuroanatomii i tym, czego nauczyłem się z biologii i psychologii w szkole. Po ukończeniu studiów pracowałem jako inżynier sieci komputerowych, budując złożone, szerokopasmowe sieci i pisząc oprogramowanie do automatyzacji i zarządzania przepływem ruchu w tych sieciach – trochę jak budowanie dużych mózgów. Praca ta ponownie rozwinęła moją pasję do sztucznej inteligencji i skłoniła mnie do podjęcia studiów podyplomowych w dziedzinie sztucznej inteligencji i neurobiologii, a reszta to już historia.

Przed założeniem Quorum AI, spędziłeś 12 lat w badaniach akademickich, najpierw na Uniwersytecie Południowej Kalifornii, a ostatnio na Northwestern jako zastępca przewodniczącego neurobiologii. W tym czasie Twoja praca koncentrowała się na przetwarzaniu informacji w mózgu. Czy mógłbyś opowiedzieć o niektórych z tych badań?

W szerokim sensie, moje badania próbowały odpowiedzieć na pytanie: Jak mózg robi to, co robi korzystając tylko z tego, co ma dostępne? Na początek, nie zgadzam się z ideą, że mózg jest rodzajem komputera (w sensie von Neumanna). Widzę go jako ogromną sieć, która w większości wykonuje operacje stimulus-response i kodowania sygnałów. W tej ogromnej sieci istnieją wyraźne wzory połączeń między obszarami o wyspecjalizowanych funkcjach. Gdy przyglądamy się bliżej, widzimy, że neurony nie dbają o sygnał, który przenoszą, ani o część mózgu, w której się znajdują – działają one na podstawie bardzo przewidywalnych reguł. Jeśli chcemy zrozumieć funkcję tych wyspecjalizowanych obszarów, musimy zadać kilka pytań: (1) Jak sygnał wejściowy łączy się z innymi sygnałami, aby wytworzyć decyzję? (2) Jak struktura tych wyspecjalizowanych obszarów kształtuje się w wyniku doświadczenia? I (3) jak one nadal zmieniają się, gdy używamy naszego mózgu i uczymy się na przestrzeni czasu? Moje badania próbowały odpowiedzieć na te pytania, korzystając z mieszanki badań eksperymentalnych, teorii informacji i modelowania i symulacji – co mogłoby umożliwić nam budowanie sztucznych systemów decyzyjnych i sztucznej inteligencji. W terminach neurobiologicznych, badałem neuroplastyczność i mikroanatomię wyspecjalizowanych obszarów, takich jak korowy obszar wzrokowy.

Następnie przetłumaczyłeś swoją pracę na rzeczywistość rozszerzoną i interfejsy mózg-komputer. Jakie produkty pracowałeś?

Okolo 2008 roku pracowałem nad projektem, który teraz nazwalibyśmy rzeczywistością rozszerzoną, ale wtedy był to system do śledzenia i przewidywania ruchów oczu, a następnie używania tych przewidywań do aktualizacji czegoś na ekranie. Aby system działał w czasie rzeczywistym, zbudowałem model biologicznie inspirowany, który przewidywał, gdzie oglądający będzie się znajdował na podstawie ich mikrosakad – małych ruchów oczu, które występują tuż przed przesunięciem wzroku. Korzystając z tego modelu, mogłem przewidzieć, gdzie oglądający będzie się znajdował, a następnie zaktualizować bufor klatki w karcie graficznej, zanim ich oczy dotarły do nowej lokalizacji na ekranie. Do czasu, gdy ich oczy dotarły do tej nowej lokalizacji, obraz był już zaktualizowany. Technologia była dość niesamowita, ale projekt nie przeszedł do następnego etapu finansowania, więc zakończył się.

W 2011 roku podjąłem bardziej ukierunkowane starania w rozwoju produktu i zbudowałem sieć neuronową, która mogła wykonywać odkrywanie cech na danych EEG przesyłanych strumieniowo, które mierzyliśmy ze skóry głowy. Jest to podstawowa funkcja większości systemów interfejsu mózg-komputer. Projekt był również eksperymentem w jaki mały ślad mogliśmy to uruchomić? Mieliśmy zestaw, który odczytywał kilka kanałów danych EEG z częstotliwością 400 Hz, które były wysyłane przez Bluetooth do telefonu z systemem Android do odkrywania cech i klasyfikacji, a następnie wysyłane do kontrolera Arduino, który wyposażyliśmy w gotowy samochód RC. Gdy ktoś nosił zestaw EEG, mógł prowadzić i sterować samochodem, zmieniając swoje myśli od wykonywania matematyki umysłowej do śpiewania piosenki. Algorytm działał na telefonie i tworzył osobisty “odcisk palca” mózgu dla każdego użytkownika, umożliwiając im przełączanie między różnymi urządzeniami bez potrzeby ponownego szkolenia. Slogan, który wymyśliliśmy, brzmiał “Kontrola mózgu spotyka się z plug-and-play”.

W 2012 roku rozszerzyliśmy system, aby działał w sposób bardziej rozproszony na mniejszym sprzęcie. Użyliśmy go do sterowania wielosegmentowym, wielostawowym ramieniem robota, w którym każdy segment był kontrolowany przez niezależny procesor, który uruchamiał wbudowaną wersję sztucznej inteligencji. Zamiast używać scentralizowanego kontrolera do manipulowania ramieniem, pozwoliliśmy segmentom samoczynnie zorganizować się i osiągnąć cel w sposób podobny do mrówek tworzących most. Innymi słowy, jak mrówki tworzą most, segmenty ramienia współpracowały, aby osiągnąć jakiś cel w przestrzeni.

Kontynuowaliśmy rozwój w tym samym kierunku, gdy po raz pierwszy uruchomiliśmy Quorum AI – pierwotnie znany jako Quorum Robotics – w 2013 roku. Szybko zrealizowaliśmy, że system był niesamowity dzięki algorytmom i architekturze, a nie sprzętowi, więc pod koniec 2014 roku całkowicie przestawiliśmy się na oprogramowanie. Teraz, 8 lat później, Quorum AI wraca do tych korzeni robotyki, stosując naszą ramę do NASA Space Robotics Challenge.

Rozstanie się z pracą jako profesor, aby założyć startup, musiało być trudną decyzją. Co skłoniło Cię do podjęcia tego kroku?

Był to ogromny skok dla mnie na wiele sposobów, ale gdy tylko pojawiła się okazja i stała się jasna, była to łatwa decyzja. Gdy jesteś profesorem, myślisz w wieloletnich ramach czasowych i pracujesz nad bardzo długoterminowymi celami badawczymi. Założenie startupu jest dokładnym przeciwieństwem tego. Niemniej jednak, jedną rzeczą, którą łączą życie akademickie i startupowe, jest to, że oba wymagają od Ciebie ciągłego uczenia się i rozwiązywania problemów. W startupie może to oznaczać próby ponownego inżynierii rozwiązania, aby zmniejszyć ryzyko rozwoju produktu lub studiowanie nowej branży, która mogłaby skorzystać z naszej technologii. Praca w dziedzinie sztucznej inteligencji jest najbliższym odpowiednikiem “powołania”, jakie kiedykolwiek czułem, więc pomimo wszystkich wyzwań i wzlotów i upadków, czuję się ogromnie szczęśliwy, że robię to, co robię.

Od tego czasu rozwinąłeś Quorum AI, które rozwija sztuczną inteligencję w czasie rzeczywistym, rozproszoną dla wszystkich urządzeń i platform. Czy mógłbyś opowiedzieć o tym, co dokładnie robi ta platforma sztucznej inteligencji?

Platforma nazywa się Environment for Virtual Agents (EVA), i umożliwia użytkownikom budowanie, szkolenie i wdrażanie modeli przy użyciu naszego silnika Engram AI. Engram to elastyczna i przenośna otoczka, którą zbudowaliśmy wokół naszych algorytmów unsupervised learning. Algorytmy są tak wydajne, że mogą uczyć się w czasie rzeczywistym, gdy model generuje przewidywania. Ponieważ algorytmy są niezależne od zadania, nie ma wyraźnego wejścia ani wyjścia z modelu, więc przewidywania mogą być dokonywane w sposób bayesowski dla dowolnej wymiaru bez ponownego szkolenia i bez cierpienia z powodu katastrofalnego zapomnienia. Modele są również przejrzyste i rozkładalne, co oznacza, że mogą być badane i rozbierane na poszczególne wymiary bez utraty tego, czego się nauczyły.

Gdy już zbudowane, modele mogą być wdrożone za pomocą EVA na dowolną platformę, od niestandardowego sprzętu wbudowanego po chmurę. EVA (i oprogramowanie hosta do osadzania) zawiera również kilka narzędzi do rozszerzenia funkcjonalności każdego modelu. Kilka szybkich przykładów: Modele mogą być udostępniane między systemami za pomocą systemu publikacji/subskrypcji, umożliwiając systemom rozproszonym osiągnięcie federacyjnego uczenia się w czasie i przestrzeni. Modele mogą być również wdrażane jako autonomiczne agenci do wykonywania dowolnych zadań, a ponieważ model jest niezależny od zadania, zadanie może być zmienione podczas wykonywania bez ponownego szkolenia. Każdy agent może być rozszerzony o prywatną “wirtualną” EVA, umożliwiając agentowi symulowanie modeli innych agentów w sposób wolny od skali. Wreszcie, stworzyliśmy kilka otoczek dla systemów głębokiego uczenia i wzmocnionego uczenia (opartych na Keras), aby umożliwić tym modelom działanie na platformie, wraz z bardziej elastycznymi systemami opartymi na Engram.

Wcześniej opisywałeś algorytmy Quorum AI jako “matematyczną poezję”. Co miałeś na myśli?

Gdy budujesz model, niezależnie od tego, czy modelujesz mózg, czy modelujesz dane sprzedaży dla Twojej firmy, zaczynasz od sporządzenia inwentarza danych, a następnie próbujesz wykorzystać znane klasy modeli, aby próbować przybliżyć system. W istocie, tworzysz szkice systemu, aby zobaczyć, co wygląda najlepiej. Nie oczekujesz, że wszystko będzie pasować do danych bardzo dobrze, i jest trochę prób i błędów, gdy testujesz różne hipotezy na temat tego, jak system działa, ale z pewnym sztucznym inteligentnym podejściem możesz uchwycić dane dość dobrze.

Gdy modelowałem neuroplastyczność w mózgu, zacząłem od zwykłego podejścia, mapując wszystkie molekularne ścieżki, stany przejściowe i dynamikę, które myślałem, że będą miały znaczenie. Ale odkryłem, że gdy zmniejszyłem system do jego najbardziej podstawowych składników i uporządkowałem te składniki w określony sposób, model stał się coraz bardziej dokładny, aż pasował do danych prawie idealnie. Było to jakby każdy operator i zmienna w równaniach były dokładnie tym, czym powinny być, nie było nic dodatkowego, a wszystko było niezbędne do dopasowania danych.

Gdy włączyłem model do większych i większych symulacji, takich jak rozwój układu wzrokowego lub rozpoznawanie twarzy, na przykład, był w stanie utworzyć bardzo skomplikowane wzory połączeń, które odpowiadały temu, co widzimy w mózgu. Ponieważ model był matematyczny, te wzory mózgu mogły być zrozumiane za pomocą analizy matematycznej, dając nowe spojrzenie na to, czego mózg się uczy. Od tego czasu rozwiązaliśmy i uprościliśmy różniczkowe równania, które tworzą model, poprawiając wydajność obliczeniową o kilka rzędów wielkości. Może to nie jest prawdziwa poezja, ale wydawało mi się, że tak!

Platforma Quorum AI umożliwia urządzeniom łączenie się ze sobą, aby uczyć się i dzielić danymi bez potrzeby komunikowania się przez serwery w chmurze. Jakie są zalety robienia tego w ten sposób w porównaniu z wykorzystaniem chmury?

Dajemy użytkownikom możliwość umieszczenia sztucznej inteligencji gdziekolwiek chcą, bez naruszania funkcjonalności sztucznej inteligencji. Status quo w rozwoju sztucznej inteligencji polega na tym, że firmy są zwykle zmuszone do kompromisu w zakresie bezpieczeństwa, prywatności lub funkcjonalności, ponieważ ich jedyną opcją jest korzystanie z usług sztucznej inteligencji w chmurze. Jeśli firmy próbują zbudować własną sztuczną inteligencję wewnętrznie, często wymaga to dużej ilości pieniędzy i czasu, a zwrot z inwestycji rzadko jest wart ryzyka. Jeśli firmy chcą wdrożyć sztuczną inteligencję na poszczególne urządzenia, które nie są połączone z chmurą, projekt szybko staje się niemożliwy. W efekcie, przyjęcie sztucznej inteligencji staje się mrzonką.

Nasza platforma sprawia, że sztuczna inteligencja staje się dostępna i przystępna, dając firmom możliwość eksplorowania rozwoju i przyjęcia sztucznej inteligencji bez technicznych lub finansowych nakładów. Co więcej, nasza platforma umożliwia użytkownikom przejście od rozwoju do wdrożenia w jednym płynnym kroku.

Nasza platforma integruje się również z istniejącymi “zastanymi” modelami, takimi jak głębokie uczenie i wzmocnione uczenie, pomagając firmom ponownie wykorzystać i zintegrować istniejące systemy w nowe aplikacje. Podobnie, ponieważ nasze algorytmy i architektury są unikalne, nasze modele nie są czarnymi skrzynkami, więc wszystko, czego system się uczy, może być badane i rozszerzane przez ludzi, a następnie stosowane w innych obszarach biznesu.

Czy uważasz, że sztuczna inteligencja rozproszona (DAI) może prowadzić do osiągnięcia sztucznej inteligencji ogólnej (AGI)?

Tak, i nie tylko dlatego, że to jest ścieżka, którą obrałśmy dla siebie! Gdy spoglądasz na mózg, nie jest to system monolityczny. Składa się z oddzielnych, rozproszonych systemów, które specjalizują się w wąskim zakresie funkcji mózgu. Możemy nie wiedzieć, co konkretny system robi, ale wiemy, że jego decyzje zależą znacznie od rodzaju informacji, które otrzymuje, i jak ta informacja zmienia się w czasie. (Dlatego tematy neurobiologiczne, takie jak connectome, są tak popularne.)

Moim zdaniem, jeśli chcemy zbudować sztuczną inteligencję, która jest elastyczna i która zachowuje się i działa jak mózg, to ma sens rozważyć rozproszone architektury, takie jak te, które widzimy w mózgu. Można argumentować, że architektury głębokiego uczenia, takie jak wielowarstwowe sieci lub CNN, można znaleźć w mózgu, i to jest prawda, ale te architektury opierają się na tym, co wiedzieliśmy o mózgu 50 lat temu.

Alternatywą dla DAI jest kontynuowanie iteracji monolitycznych, nieelastycznych architektur, które są ściśle powiązane z jednym przestrzenią decyzyjną, takimi jak te, które widzimy w głębokim uczeniu lub wzmocnionym uczeniu (lub jakimkolwiek innym nadzorowanym sposobie uczenia). Uważam, że te ograniczenia nie są tylko kwestią dostosowania parametrów lub dodawania warstw lub warunków danych – te problemy są fundamentalne dla głębokiego uczenia i wzmocnionego uczenia, przynajmniej w tym, jak je definiujemy dzisiaj, więc wymagane są nowe podejścia, jeśli chcemy kontynuować innowacje i budowanie sztucznej inteligencji jutra.

Czy uważasz, że osiągnięcie AGI przy użyciu DAI jest bardziej prawdopodobne niż metody głębokiego uczenia i/lub wzmocnionego uczenia, które są obecnie realizowane przez firmy takie jak OpenAI i DeepMind?

Tak, chociaż z tego, co blogują, podejrzewam, że OpenAI i DeepMind używają bardziej rozproszonych architektur, niż się przyznają. Zaczynamy słyszeć więcej o wielosystemowych wyzwaniach, takich jak transfer learning lub federacyjne/rozproszone uczenie, i przypadkowo, o tym, jak podejścia głębokiego uczenia i wzmocnionego uczenia nie będą działać dla tych wyzwań. Zaczynamy również słyszeć od pionierów, takich jak Yoshua Bengio, o tym, jak architektury inspirowane biologicznie mogą pomóc w przezwyciężeniu tych ograniczeń. Pracowałem nad biologicznie inspirowaną sztuczną inteligencją przez prawie 20 lat, więc czuję się bardzo dobrze z tym, czego nauczyliśmy się w Quorum AI, i jak wykorzystujemy to do budowania tego, co uważamy za następną generację sztucznej inteligencji, która pokona te ograniczenia.

Czy jest coś jeszcze, co chciałbyś podzielić się na temat Quorum AI?

Będziemy prezentować naszą nową platformę dla rozproszonej i opartej na agentach sztucznej inteligencji na Federated and Distributed Machine Learning Conference w czerwcu 2020. Podczas prezentacji planuję przedstawić niektóre niedawne dane na temat kilku tematów, w tym analizy sentymentu jako most do osiągnięcia empatycznej sztucznej inteligencji.

Chciałbym podziękować Noah za te niesamowite odpowiedzi, i polecam odwiedzenie Quorum, aby dowiedzieć się więcej.