Ноа Шварц, ко-основач и извршен директор на Quorum AI – серија на интервјуа

Ноа е архитект на системи за вештачка интелигенција. Пред основањето Кворум ВИНоа помина 12 години во академски истражувања, најпрвин на Универзитетот во Јужна Калифорнија, а неодамна во Нортвестерн како асистент на катедрата за невробиологија. Неговата работа се фокусираше на обработка на информации во мозокот и тој го преведе своето истражување во производи во проширена реалност, интерфејси на мозокот-компјутер, компјутерска визија и вградени системи за контрола на роботиката.

Вашиот интерес за вештачката интелигенција и роботиката започна уште како мало момче. Како првпат се запознавте со овие технологии?

Првичната искра дојде од научно-фантастичните филмови и љубовта кон електрониката. Се сеќавам дека го гледав филмот, Трон, како 8-годишно дете, по што следеа Electric Dreams, Short Circuit, DARYL, War Games и други во следните неколку години. Иако беше претставено преку фикција, самата идеја за вештачка интелигенција ме разнесе. И иако имав само 8 години, ја почувствував оваа непосредна врска и интензивно привлекување кон вештачката интелигенција која никогаш не се намалила оттогаш.

Како еволуираа вашите страсти за двете?

Мојот интерес за вештачката интелигенција и роботиката се развиваше паралелно со страста за мозокот. Татко ми беше професор по биологија и ме учеше за телото, како функционира сè и како сето тоа е поврзано. Гледањето во вештачката интелигенција и погледот во мозокот ми изгледаше како истиот проблем - или барем, тие го имаа истото крајно прашање, кое беше: Како функционира тоа? Бев заинтересиран за двете, но не бев многу изложен на вештачка интелигенција или роботика во училиште. Од таа причина, првично се занимавав со вештачка интелигенција на мое време и студирав биологија и психологија на училиште.

Кога стигнав на колеџ, го открив Книги за паралелна дистрибуирана обработка (ПДП)., што беше огромно за мене. Тие беа мојот прв вовед во вистинската вештачка интелигенција, што потоа ме врати на класиците како што се Хеб, Розенблат, Па дури и МекКалок и Питс. Почнав да градам невронски мрежи врз основа на невроанатомија и она што го научив од часовите по биологија и психологија во училиште. По дипломирањето, работев како инженер за компјутерски мрежи, градејќи комплексни мрежи со широка област и пишував софтвер за автоматизирање и управување со протокот на сообраќај на тие мрежи - нешто како градење големи мозоци. Работата повторно ми ја разгоре страста за вештачката интелигенција и ме мотивираше да одам во матура за да студирам вештачка интелигенција и невронаука, а останатото е историја.

Пред да го основате Quorum AI, поминавте 12 години во академско истражување, прво на Универзитетот во Јужна Калифорнија, а неодамна во Нортвестерн како асистент на катедрата за невробиологија. Во тоа време вашата работа се фокусираше на обработка на информации во мозокот. Дали би можеле да ни пренесете некои од ова истражување?

Во широка смисла, моето истражување се обидуваше да го разберам прашањето: Како мозокот го прави тоа што го прави користејќи го само она што го има на располагање? За почеток, јас не се претплатам на идејата дека мозокот е тип на компјутер (во смисла на фон Нојман). Јас го гледам како масивна мрежа која најчесто врши операции на стимул-одговор и кодирање сигнал. Во рамките на таа масивна мрежа постојат јасни обрасци на поврзување помеѓу функционално специјализираните области. Додека зумираме, гледаме дека на невроните не им е грижа каков сигнал носат или во кој дел од мозокот се наоѓаат - тие работат врз основа на многу предвидливи правила. Значи, ако сакаме да ја разбереме функцијата на овие специјализирани области, треба да поставиме неколку прашања: (1) Како што влезот патува низ мрежата, како тој влез се спојува со другите влезови за да донесе одлука? (2) Како се формира структурата на тие специјализирани области како резултат на искуството? И (3) како тие продолжуваат да се менуваат додека го користиме нашиот мозок и учиме со текот на времето? Моето истражување се обиде да ги реши овие прашања користејќи мешавина од експериментални истражувања во комбинација со теорија на информации и моделирање и симулација - нешто што може да ни овозможи да изградиме вештачки системи за одлучување и вештачка интелигенција. Во невробиолошка смисла, студирав невропластичност и микроанатомија на специјализирани области како што е визуелниот кортекс.

Потоа ја преведовте вашата работа во проширена реалност и интерфејси мозок-компјутер. Кои беа некои од производите на кои работевте?

Околу 2008 година работев на проект кој сега би го нарекол проширена реалност, но тогаш тоа беше само систем за следење и предвидување на движењата на очите, а потоа користење на тие предвидувања за ажурирање на нешто на екранот. За да го направам системот да работи во реално време, изградив биолошки инспириран модел кој предвидуваше каде ќе може гледачот врз основа на нивните микросакади - мали движења на очите што се случуваат непосредно пред да го придвижите окото. Користејќи го овој модел, можев да предвидам каде ќе изгледа гледачот, а потоа да го ажурирам тампонот на рамката во графичката картичка додека нивните очи сè уште беа во движење. Кога нивните очи стигнаа до таа нова локација на екранот, сликата веќе беше ажурирана. Ова работеше на обичен десктоп компјутер во 2008 година, без никакво задоцнување. Технологијата беше прилично неверојатна, но проектот не влезе во следната рунда на финансирање, па затоа почина.

Во 2011 година, вложив повеќе фокусирани напори за развој на производи и изградив невронска мрежа која може да врши откривање на карактеристики на стриминг ЕЕГ податоци што ги меривме од скалпот. Ова е основната функција на повеќето системи за интерфејс мозок-компјутер. Проектот беше и експеримент во колку мал отпечаток би можеле да го добиеме ова? Имавме слушалки што читаа неколку канали со податоци за ЕЕГ на 400 Hz кои беа испратени преку Bluetooth до телефон со Android за откривање и класификација на функциите, а потоа испратени до контролер на Arduino што го реконструиравме во RC автомобил што не се наоѓа на полица. Кога е во употреба, поединецот што ги носел слушалките за ЕЕГ може да вози и да управува со автомобилот менувајќи ги своите мисли од правење ментална математика до пеење песна. Алгоритмот работеше на телефонот и создаде персонализиран мозочен „отпечаток“ за секој корисник, овозможувајќи му да се префрлаат помеѓу различни роботски уреди без да мора да се преквалификуваат на секој уред. Ознаката што ја смисливме беше „Контролата на мозокот ги исполнува Plug-and-Play“.

Во 2012 година, го проширивме системот за да функционира на многу пораспореден начин на помал хардвер. Го користевме за да контролираме повеќесегментна роботска рака со повеќе зглобови во која секој сегмент беше контролиран од независен процесор кој управуваше со вградена верзија на вештачката интелигенција. Наместо да користиме централизиран контролер за манипулирање со раката, им дозволивме на сегментите да се самоорганизираат и да стигнат до својата цел на рој, дистрибуиран начин. Со други зборови, како мравки кои формираат мравка мост, сегментите на раката би соработувале за да стигнат до некоја цел во вселената.

Продолживме да се движиме во истата насока кога за прв пат ја лансиравме Quorum AI - првично познат како Quorum Robotics - во 2013 година. Брзо сфативме дека системот е одличен поради алгоритмот и архитектурата, а не поради хардверот, па кон крајот на 2014 година, го сместивме целосно во софтвер. Сега, 8 години подоцна, Quorum AI доаѓа во полн круг, назад кон корените на роботиката со примена на нашата рамка на Предизвик за вселенска роботика на НАСА.

Да се ​​откажете од вашата работа како професор за да започнете старт-ап мораше да биде тешка одлука. Што ве инспирираше да го направите ова?

Тоа беше огромен скок за мене на многу начини, но штом се укажа прилика и патеката стана јасна, тоа беше лесна одлука. Кога сте професор, размислувате во повеќегодишни временски рамки и работите на многу долги истражувачки цели. Лансирањето на старт-ап е токму спротивното од тоа. Сепак, едно нешто што е заедничко за академскиот живот и почетниот живот е тоа што и двете бараат постојано да учите и да ги решавате проблемите. Во старт-ап, тоа би можело да значи обид за ре-инженеринг на решение за намалување на ризикот од развој на производи или можеби проучување на нова вертикала што би можела да има корист од нашата технологија. Работењето во вештачка интелигенција е нешто најблиску до „повик“ како што некогаш сум почувствувал, така што и покрај сите предизвици и подеми и падови, се чувствувам неизмерно среќен што ја работам работата што ја работам.

Оттогаш развивте Quorum AI, која развива вештачка интелигенција во реално време, дистрибуирана за сите уреди и платформи. Можете ли да елаборирате што точно прави оваа платформа за вештачка интелигенција?

Платформата се нарекува Животна средина за виртуелни агенти (EVA) и им овозможува на корисниците да градат, обучуваат и распоредуваат модели користејќи го нашиот Engram AI Engine. Engram е флексибилна и пренослива обвивка што ја изградивме околу нашите алгоритми за учење без надзор. Алгоритмите се толку ефикасни што можат да учат во реално време, бидејќи моделот генерира предвидувања. Бидејќи алгоритмите се агностични за задачите, нема експлицитен влез или излез во моделот, така што може да се направат предвидувања на бајесов начин за која било димензија без преквалификација и без страдање од катастрофално заборавање. Моделите се исто така проѕирни и се разложуваат, што значи дека може да се испитаат и да се разделат на поединечни димензии без да се изгуби наученото.

Откако ќе се изградат, моделите може да се распоредат преку EVA на кој било тип на платформа, почнувајќи од прилагоден вграден хардвер или до облак. EVA (и софтверот за вградување домаќин) исто така содржат неколку алатки за проширување на функционалноста на секој модел. Неколку брзи примери: Моделите може да се споделуваат помеѓу системите преку систем за објавување/претплата, овозможувајќи им на дистрибуираните системи да постигнат федерирано учење и во време и во простор. Моделите, исто така, може да се распоредат како автономни агенти за извршување произволни задачи, а бидејќи моделот е агностички за задача, задачата може да се смени за време на траење без преквалификација. Секој поединечен агент може да се прошири со приватна „виртуелна“ EVA, овозможувајќи му на агентот да симулира модели на други агенти на начин без размери. Конечно, создадовме некои обвивки за системи за длабоко учење и зајакнување (базирани на Keras) за да им овозможиме на овие модели да работат на платформата, во согласност со пофлексибилните системи базирани на Engram.

Претходно ги опишавте алгоритмите Quorum AI како „математичка поезија“. Што сакаше да кажеш со ова?

Кога градите модел, без разлика дали го моделирате мозокот или ги моделирате податоците за продажба за вашето претпријатие, започнувате со попис на вашите податоци, а потоа ги испробувате познатите класи на модели за да се обидете да го приближите системот . Во суштина, вие креирате груби скици на системот за да видите што изгледа најдобро. Не очекувате работите да одговараат многу добро на податоците, а има и обиди и грешки додека тестирате различни хипотези за тоа како функционира системот, но со извесна финесност, можете прилично добро да ги доловите податоците.

Додека ја моделирав невропластичноста во мозокот, започнав со вообичаениот пристап на мапирање на сите молекуларни патишта, состојби на транзиција и динамика за кои мислев дека ќе бидат важни. Но, тоа го открив кога јас намалена системот до неговите најосновни компоненти и ги распореди тие компоненти на одреден начин, моделот стануваше сè попрецизен додека не се вклопи во податоците речиси совршено. Се чинеше дека секој оператор и променлива во равенките беа токму она што треба да бидат, немаше ништо дополнително и сè беше од суштинско значење за вклопување на податоците.

Кога го вклучив моделот во поголеми и поголеми симулации, како развој на визуелен систем или препознавање на лица, на пример, тој беше во можност да формира исклучително комплицирани обрасци за поврзување кои одговараат на она што го гледаме во мозокот. Бидејќи моделот беше математички, тие мозочни обрасци можеа да се разберат преку математичка анализа, давајќи нов увид во она што мозокот го учи. Оттогаш, ги решивме и поедноставивме диференцијалните равенки што го сочинуваат моделот, подобрувајќи ја пресметковната ефикасност за повеќекратни редови на големина. Можеби не е вистинска поезија, но сигурно се чувствуваше!

Комплетот алатки за платформа на Quorum AI им овозможува на уредите да се поврзуваат еден со друг за да учат и споделуваат податоци без потреба да комуницираат преку сервери базирани на облак. Кои се предностите на тоа да се направи на овој начин наспроти користењето на облакот?

На корисниците им даваме можност да ја стават својата вештачка интелигенција каде што сакаат, без да ја загрозат функционалноста на вештачката интелигенција. Статус кво во развојот на вештачката интелигенција е дека компаниите обично се принудени да ја загрозат безбедноста, приватноста или функционалноста бидејќи нивната единствена опција е да користат услуги за вештачка интелигенција базирана на облак. Ако компаниите навистина се обидат да изградат сопствена вештачка интелигенција во куќата, тоа често бара многу пари и време, а рентабилноста ретко вреди да се ризикува. Ако компаниите сакаат да распоредат вештачка интелигенција на поединечни уреди кои не се поврзани со облак, проектот брзо станува невозможен. Како резултат на тоа, усвојувањето на вештачката интелигенција станува фантазија.

Нашата платформа ја прави ВИ достапна и прифатлива, давајќи им на компаниите начин да го истражат развојот и усвојувањето на вештачката интелигенција без технички или финансиски трошоци. Покрај тоа, нашата платформа им овозможува на корисниците да одат од развој до распоредување во еден беспрекорен чекор.

Нашата платформа, исто така, се интегрира со и го продолжува рокот на траење на други „наследни“ модели како што се длабоко учење или учење за зајакнување, помагајќи им на компаниите да ги пренаменат и интегрираат постоечките системи во понови апликации. Слично на тоа, бидејќи нашите алгоритми и архитектури се уникатни, нашите модели не се црни кутии, така што сè што ќе научи системот може да биде истражено и интерпретирано од луѓето, а потоа да се прошири во други области на бизнисот.

Некои веруваат дека дистрибуираната вештачка интелигенција (DAI) може да го води патот до вештачка општа интелигенција (AGI). Дали се претплатите на оваа теорија?

Јас го правам тоа, и не само затоа што тоа е патот што го тргнавме за себе! Кога ќе го погледнете мозокот, тоа не е монолитен систем. Составен е од посебни, дистрибуирани системи од кои секој е специјализиран за тесен опсег на функции на мозокот. Можеби не знаеме што прави одреден систем, но знаеме дека неговите одлуки значително зависат од типот на информации што ги прима и како тие информации се менуваат со текот на времето. (Ова е причината зошто темите за невронаука како конектома се толку популарни.)

Според мое мислење, ако сакаме да изградиме ВИ која е флексибилна и која се однесува и функционира како мозокот, тогаш има смисла да се разгледаат дистрибуирани архитектури како оние што ги гледаме во мозокот. Може да се тврди дека архитектури за длабоко учење како повеќеслојни мрежи или CNN може да се најдат во мозокот, и тоа е точно, но тие архитектури се засноваат на она што го знаевме за мозокот пред 50 години.

Алтернативата на DAI е да се продолжи со повторување на монолитни, нефлексибилни архитектури кои се цврсто поврзани со еден простор за одлучување, како оние што ги гледаме во длабокото учење или зајакнувачкото учење (или кој било надгледуван метод на учење, за таа работа). Јас би сугерирал дека овие ограничувања не се само прашање на дотерување на параметрите или додавање слоеви или условување на податоци - овие прашања се од фундаментално значење за длабокото учење и учењето за засилување, барем како што ги дефинираме денес, па затоа се потребни нови пристапи ако сакаме да продолжи со иновациите и градењето на вештачката интелигенција од утре.

Дали мислите дека постигнувањето AGI со користење на DAI е поверојатно од зајакнувачкото учење и/или методите за длабоко учење што во моментов ги спроведуваат компании како OpenAI и DeepMind?

Да, иако од она за што блогираат, се сомневам дека OpenAI и DeepMind користат повеќе дистрибуирани архитектури отколку што дозволуваат. Почнуваме да слушаме повеќе за мултисистемските предизвици како што се преносното учење или федеративно/дистрибуираното учење, и случајно, за тоа како длабокото учење и пристапите за зајакнување на учењето нема да работат за овие предизвици. Исто така, почнуваме да слушаме од пионерите како Јошуа Бенџо за тоа како биолошки инспирираните архитектури би можеле да го премостат јазот! Работев на биолошки инспирирана вештачка интелигенција скоро 20 години, така што се чувствувам многу добро за она што го научивме на Quorum AI и како го користиме за да ја изградиме она што веруваме дека е следната генерација на вештачка интелигенција што ќе ги надмине овие ограничувања.

Дали има нешто друго што би сакале да споделите за Quorum AI?

Ќе ја прегледаме нашата нова платформа за дистрибуирана и заснована на ВИ на агенти на Федерирана и дистрибуирана конференција за машинско учење во јуни 2020 година. За време на разговорот, планирам да презентирам некои неодамнешни податоци за неколку теми, вклучително и анализа на чувствата како мост за постигнување емпатична вештачка интелигенција.

Би сакал да му изразам посебна благодарност на Ноа за овие неверојатни одговори и би препорачал да ја посетите кворум за да дознаете повеќе.