Ноа Шварц, съосновател и главен изпълнителен директор на Quorum AI – Серия интервюта

Ноа е архитект на AI системи. Преди основаването Кворум AI, Ной прекарва 12 години в академични изследвания, първо в Университета на Южна Калифорния и наскоро в Северозападния като асистент-катедра по невробиология. Работата му се съсредоточава върху обработката на информация в мозъка и той е превърнал изследванията си в продукти за разширена реалност, интерфейси мозък-компютър, компютърно зрение и вградени роботизирани системи за управление.

Вашият интерес към AI и роботиката започна като малко момче. Как за първи път се запознахте с тези технологии?

Първоначалната искра идва от научнофантастичните филми и любовта към електрониката. Спомням си, че гледах филма Трон като 8-годишен, последван от Electric Dreams, Short Circuit, DARYL, War Games и други през следващите няколко години. Въпреки че беше представена чрез измислица, самата идея за изкуствения интелект ме взриви. И въпреки че бях само на 8 години, почувствах тази непосредствена връзка и силно влечение към ИИ, което никога не е намаляло оттогава.

Как се развиха вашите страсти и към двете?

Интересът ми към AI и роботиката се разви паралелно със страстта към мозъка. Баща ми беше учител по биология и ме учи за тялото, как работи всичко и как всичко е свързано. Гледането на AI и гледането на мозъка ми се сториха като един и същ проблем – или поне те имаха един и същ последен въпрос, който беше, Как работи това? Интересувах се и от двете, но не бях запознат много с ИИ или роботиката в училище. Поради тази причина първоначално се занимавах с ИИ в свободното си време и учих биология и психология в училище.

Когато отидох в колежа, открих Книги за паралелна разпределена обработка (PDP)., което беше огромно за мен. Те бяха първото ми въведение в действителния AI, което след това ме върна към класиките като напр Хеб, RosenblattИ дори Маккълох и Питс. Започнах да изграждам невронни мрежи въз основа на невроанатомията и това, което научих от часовете по биология и психология в училище. След дипломирането си работих като инженер по компютърни мрежи, изграждайки сложни широкообхватни мрежи и пишейки софтуер за автоматизиране и управление на трафика в тези мрежи – нещо като изграждане на големи мозъци. Работата възроди страстта ми към AI и ме мотивира да се насоча към висше училище, за да уча AI и неврология, а останалото е история.

Преди да създадете Quorum AI, вие прекарахте 12 години в академични изследвания, първо в Университета на Южна Калифорния и последно в Северозападния като асистент-катедра по невробиология. По онова време вашата работа беше фокусирана върху обработката на информация в мозъка. Бихте ли ни превели през някои от тези изследвания?

В широк смисъл моето изследване се опитваше да разбере въпроса: Как мозъкът прави това, което прави използвайки само това, което има на разположение? Като за начало, не се присъединявам към идеята, че мозъкът е вид компютър (в смисъла на фон Нойман). Виждам го като масивна мрежа, която извършва най-вече операции за реакция на стимул и кодиране на сигнали. В рамките на тази масивна мрежа има ясни модели на свързаност между функционално специализирани области. Когато увеличим мащаба, виждаме, че невроните не се интересуват какъв сигнал носят или в коя част от мозъка се намират – те работят въз основа на много предвидими правила. Така че, ако искаме да разберем функцията на тези специализирани области, трябва да зададем няколко въпроса: (1) Докато входът пътува през мрежата, как този вход се събира с други входове, за да произведе решение? (2) Как се формира структурата на тези специализирани области в резултат на опита? И (3) как те продължават да се променят, докато използваме мозъка си и се учим с течение на времето? Моето изследване се опита да отговори на тези въпроси, използвайки комбинация от експериментални изследвания, съчетани с теория на информацията и моделиране и симулация – нещо, което може да ни позволи да изградим изкуствени системи за вземане на решения и AI. От гледна точка на невробиологията изучавах невропластичността и микроанатомията на специализирани области като зрителния кортекс.

След това сте превели работата си в разширена реалност и интерфейси мозък-компютър. Какви бяха някои от продуктите, върху които работихте?

Около 2008 г. работих върху проект, който сега бихме нарекли разширена реалност, но тогава това беше просто система за проследяване и прогнозиране на движенията на очите и след това използване на тези прогнози за актуализиране на нещо на екрана. За да накарам системата да работи в реално време, изградих биологично вдъхновен модел, който прогнозира къде ще се намира зрителят въз основа на техните микросакади – малки движения на очите, които се случват точно преди да преместите окото си. Използвайки този модел, можех да предвидя къде ще гледа зрителят, след което да актуализирам буфера на кадрите в графичната карта, докато очите му все още се движат. Докато очите им достигнат това ново място на екрана, изображението вече е актуализирано. Това работи на обикновен настолен компютър през 2008 г., без забавяне. Технологията беше доста невероятна, но проектът не стигна до следващия кръг на финансиране, така че умря.

През 2011 г. положих по-фокусирани усилия в разработването на продукта и изградих невронна мрежа, която може да извърши откриване на функции върху поточни ЕЕГ данни, които измервахме от скалпа. Това е основната функция на повечето системи за интерфейс мозък-компютър. Проектът беше и експеримент в колко малък отпечатък бихме могли да накараме това да работи? Имахме слушалка, която четеше няколко канала от ЕЕГ данни при 400 Hz, които бяха изпратени чрез Bluetooth до телефон с Android за откриване и класифициране на функции, след което бяха изпратени до контролер, захранван от Arduino, който модернизирахме в готова RC кола. Когато се използва, човек, който носи EEG слушалка, може да шофира и управлява колата, като променя мислите си от правене на умствена математика към пеене на песен. Алгоритъмът работи на телефона и създава персонализиран мозъчен „пръстов отпечатък“ за всеки потребител, което му позволява да превключва между различни роботизирани устройства, без да се налага да се преквалифицира на всяко устройство. Лозунгът, който измислихме, беше „Контролът на мозъка се среща с Plug-and-Play“.

През 2012 г. разширихме системата, така че да работи по много по-разпределен начин на по-малък хардуер. Използвахме го, за да контролираме многосегментна, многоставна роботизирана ръка, в която всеки сегмент се управляваше от независим процесор, който изпълняваше вградена версия на AI. Вместо да използваме централизиран контролер за манипулиране на ръката, ние позволихме на сегментите да се самоорганизират и да достигнат целта си по подобен на рояк, разпределен начин. С други думи, като мравки, образуващи мравешки мост, сегментите на ръката биха си сътрудничили, за да достигнат някаква цел в космоса.

Продължихме да се движим в същата посока, когато за първи път стартирахме Quorum AI – първоначално известен като Quorum Robotics – през 2013 г. Бързо разбрахме, че системата е страхотна поради алгоритъма и архитектурата, а не поради хардуера, така че в края на 2014 г. се обърнахме изцяло в софтуера. Сега, 8 години по-късно, Quorum AI идва в пълен кръг, връщайки се към тези корени на роботиката, като прилага нашата рамка към NASA Space Robotics Challenge.

Да напуснеш работата си като професор, за да стартираш стартиращ бизнес, трябва да е било трудно решение. Какво ви вдъхнови да направите това?

Това беше огромен скок за мен в много отношения, но след като се появи възможност и пътят стана ясен, решението беше лесно. Когато сте професор, вие мислите в многогодишни времеви рамки и работите върху много дългосрочни изследователски цели. Стартирането на стартиращ бизнес е точно обратното на това. Въпреки това, едно общо нещо, което академичният живот и стартиращият живот имат, е, че и двата изискват да учите и да решавате проблеми постоянно. При стартиращ бизнес това може да означава опит за препроектиране на решение за намаляване на риска от разработване на продукти или може би изучаване на нов вертикал, който може да се възползва от нашите технологии. Работата в AI е най-близкото нещо до „призвание“, както някога съм се чувствал, така че въпреки всички предизвикателства и възходи и падения, се чувствам огромен късметлия да върша работата, която върша.

Оттогава разработихте Quorum AI, който разработва разпределен изкуствен интелект в реално време за всички устройства и платформи. Бихте ли разяснили какво точно прави тази AI платформа?

Платформата се нарича среда за виртуални агенти (EVA) и позволява на потребителите да изграждат, обучават и внедряват модели с помощта на нашия Engram AI Engine. Engram е гъвкава и преносима обвивка, която изградихме около нашите алгоритми за неконтролирано обучение. Алгоритмите са толкова ефективни, че могат да се учат в реално време, тъй като моделът генерира прогнози. Тъй като алгоритмите са агностици на задачите, няма изричен вход или изход към модела, така че прогнозите могат да се правят по байесовски начин за всяко измерение без повторно обучение и без страдание от катастрофално забравяне. Моделите също са прозрачни и разлагаеми, което означава, че могат да бъдат изследвани и разделени на отделни измерения, без да се губи наученото.

Веднъж изградени, моделите могат да бъдат внедрени чрез EVA към всеки тип платформа, варираща от персонализиран вграден хардуер или до облака. EVA (и вграденият хост софтуер) също съдържат няколко инструмента за разширяване на функционалността на всеки модел. Няколко бързи примера: Моделите могат да се споделят между системи чрез система за публикуване/абонамент, което позволява на разпределените системи да постигнат обединено обучение както във времето, така и в пространството. Моделите могат също да бъдат разгърнати като автономни агенти за изпълнение на произволни задачи и тъй като моделът е агностик на задачите, задачата може да бъде променена по време на изпълнение без повторно обучение. Всеки отделен агент може да бъде разширен с частна „виртуална“ EVA, което позволява на агента да симулира модели на други агенти по начин без мащаб. И накрая, ние създадохме някои обвивки за системи за задълбочено обучение и обучение с подсилване (базирани на Keras), за да позволим на тези модели да работят на платформата, съвместно с по-гъвкави системи, базирани на Engram.

По-рано описахте алгоритмите на Quorum AI като „математическа поезия“. Какво имахте предвид с това?

Когато изграждате модел, независимо дали моделирате мозъка или моделирате данни за продажбите за вашето предприятие, започвате с инвентаризация на вашите данни, след което изпробвате известни класове модели, за да опитате да приближите системата . По същество вие създавате груби скици на системата, за да видите какво изглежда най-добре. Не очаквате нещата да пасват на данните много добре и има някои проби и грешки, докато тествате различни хипотези за това как работи системата, но с известна финес можете да уловите данните доста добре.

Докато моделирах невропластичността в мозъка, започнах с обичайния подход за картографиране на всички молекулярни пътища, преходни състояния и динамики, които смятах, че ще имат значение. Но открих това, когато аз намален системата до нейните най-основни компоненти и подреди тези компоненти по определен начин, моделът стана все по-точен, докато не пасна на данните почти перфектно. Сякаш всеки оператор и променлива в уравненията бяха точно това, което трябваше да бъде, нямаше нищо допълнително и всичко беше от съществено значение за напасването на данните.

Когато включвах модела във все по-големи и по-големи симулации, като развитие на визуална система или разпознаване на лица, например, той успя да формира изключително сложни модели на свързване, които съответстваха на това, което виждаме в мозъка. Тъй като моделът е математически, тези мозъчни модели могат да бъдат разбрани чрез математически анализ, давайки нов поглед върху това, което мозъкът учи. Оттогава решихме и опростихме диференциалните уравнения, които изграждат модела, като подобрихме изчислителната ефективност с множество порядъци. Може да не е истинска поезия, но със сигурност се усети така!

Инструментариумът на платформата на Quorum AI позволява на устройствата да се свързват едно с друго, за да учат и споделят данни, без да е необходимо да комуникират чрез базирани на облак сървъри. Какви са предимствата да го направите по този начин спрямо използването на облака?

Даваме на потребителите възможността да поставят своя AI където пожелаят, без да компрометират функционалността на AI. Статуквото в разработката на AI е, че компаниите обикновено са принудени да компрометират сигурността, поверителността или функционалността, защото единствената им възможност е да използват базирани на облак AI услуги. Ако компаниите се опитат да изградят свой собствен AI вътрешно, това често изисква много пари и време, а ROI рядко си струва риска. Ако компаниите искат да разположат AI на отделни устройства, които не са свързани с облак, проектът бързо става невъзможен. В резултат на това приемането на AI се превръща във фантазия.

Нашата платформа прави AI достъпен и достъпен, като дава на компаниите начин да изследват развитието и приемането на AI без технически или финансови разходи. И освен това, нашата платформа позволява на потребителите да преминат от разработка към внедряване в една безпроблемна стъпка.

Нашата платформа също се интегрира и удължава срока на годност на други „наследени“ модели като задълбочено обучение или обучение с подсилване, като помага на компаниите да пренасочат и интегрират съществуващи системи в по-нови приложения. По същия начин, тъй като нашите алгоритми и архитектури са уникални, нашите модели не са черни кутии, така че всичко, което системата научава, може да бъде проучено и интерпретирано от хората и след това разширено към други области на бизнеса.

Някои смятат, че разпределеният изкуствен интелект (DAI) може да поведе пътя към общия изкуствен интелект (AGI). Присъединявате ли се към тази теория?

Аз го правя и не само защото това е пътят, по който сме тръгнали! Когато погледнете мозъка, той не е монолитна система. Състои се от отделни, разпределени системи, всяка от които е специализирана в тесен набор от мозъчни функции. Може да не знаем какво прави дадена система, но знаем, че нейните решения зависят значително от типа информация, която получава, и как тази информация се променя с времето. (Ето защо теми от неврологията като съединител са толкова популярни.)

Според мен, ако искаме да изградим ИИ, който е гъвкав и който се държи и работи като мозъка, тогава има смисъл да обмислим разпределени архитектури като тези, които виждаме в мозъка. Може да се твърди, че архитектури за дълбоко обучение като многослойни мрежи или CNN могат да бъдат намерени в мозъка и това е вярно, но тези архитектури се основават на това, което знаем за мозъка Преди 50 години.

Алтернативата на DAI е да продължим да повтаряме монолитни, негъвкави архитектури, които са тясно свързани с едно пространство за вземане на решения, като тези, които виждаме при задълбочено обучение или обучение с подсилване (или който и да е метод за контролирано обучение по този въпрос). Бих предположил, че тези ограничения не са само въпрос на настройване на параметри или добавяне на слоеве или кондициониране на данни – тези проблеми са фундаментални за дълбокото обучение и обучението с подсилване, поне както ги дефинираме днес, така че са необходими нови подходи, ако вървим да продължим да правим иновации и да изграждаме AI на утрешния ден.

Вярвате ли, че постигането на AGI с помощта на DAI е по-вероятно от обучението с подсилване и/или методите за дълбоко обучение, които в момента се преследват от компании като OpenAI и DeepMind?

Да, въпреки че от това, за което пишат в блога, подозирам, че OpenAI и DeepMind използват повече разпределени архитектури, отколкото предполагат. Започваме да чуваме повече за мултисистемни предизвикателства като трансферно обучение или обединено/разпределено обучение и случайно за това как подходите за задълбочено обучение и обучение с подсилване няма да работят за тези предизвикателства. Започваме също така да чуваме от пионери като Йошуа Бенгио за това как биологично вдъхновените архитектури могат да преодолеят празнината! Работя върху биологично вдъхновен AI от почти 20 години, така че се чувствам много добре от това, което научихме в Quorum AI и как го използваме, за да изградим това, което вярваме, че е следващото поколение AI, което ще преодолее тези ограничения.

Има ли нещо друго, което бихте искали да споделите за Quorum AI?

Ще визуализираме нашата нова платформа за разпределен и базиран на агент AI на Конференция за обединено и разпределено машинно обучение през юни 2020 г. По време на разговора планирам да представя някои скорошни данни по няколко теми, включително анализ на настроенията като мост към постигане на емпатичен ИИ.

Бих искал специално да благодаря на Ной за тези невероятни отговори и бих ви препоръчал да посетите кворум за да научите повече.