Ноа Шварц, сооснователь и CEO Quorum AI – Интервью

Ноа – архитектор систем искусственного интеллекта. До основания Quorum AI, Ноа провел 12 лет в академических исследованиях, сначала в Университете Южной Калифорнии, а позже в Северо-Западном университете в качестве помощника председателя нейробиологии. Его работа была сосредоточена на обработке информации в мозге, и он перевел свои исследования в продукты в области дополненной реальности, интерфейсов мозг-компьютер, компьютерного зрения и встроенных систем управления роботами.

Ваш интерес к ИИ и робототехнике начался, когда вы были маленьким мальчиком. Как вы были впервые познакомились с этими технологиями?

Первоначальная искра появилась из научно-фантастических фильмов и любви к электронике. Я помню, как смотрел фильм “Трон” в 8 лет, а затем “Электрические сны”, “Короткое замыкание”, “ДАРИЛ”, “Игры войны” и другие в течение следующих нескольких лет. Хотя это было представлено через вымысел, сама идея искусственного интеллекта поразила меня. И хотя мне было только 8 лет, я почувствовал мгновенную связь и сильное притяжение к ИИ, которое никогда не ослабевало со временем.

Как ваши страсти к обоим развивались?

Мой интерес к ИИ и робототехнике развивался параллельно с увлечением мозгом. Мой отец был учителем биологии и учил меня о теле, о том, как все работает, и о том, как все связано. Смотреть на ИИ и смотреть на мозг казалось мне одной и той же проблемой – или, по крайней мере, они имели один и тот же окончательный вопрос, который был: “Как это работает?” Меня интересовало и то, и другое, но я не получил много знаний об ИИ или робототехнике в школе. Поэтому я первоначально занимался ИИ в свое свободное время и изучал биологию и психологию в школе.

Когда я поступил в колледж, я открыл для себя книги по параллельной распределенной обработке (PDP), что было огромным открытием для меня. Это была моя первая настоящая встреча с ИИ, что затем привело меня обратно к классикам, таким как Хебб, Розенблатт и даже Маккаллох и Питтс. Я начал строить нейронные сети на основе нейроанатомии и того, что я узнал из биологии и психологии в школе. После окончания университета я работал инженером компьютерных сетей, строил сложные, широкополосные сети и писал программное обеспечение для автоматизации и управления трафиком на этих сетях – примерно как строил большие мозги. Эта работа заново разожгла мою страсть к ИИ и мотивировала меня пойти в аспирантуру, чтобы изучать ИИ и нейробиологию, и все остальное – история.

До основания Quorum AI вы провели 12 лет в академических исследованиях, сначала в Университете Южной Калифорнии, а позже в Северо-Западном университете в качестве помощника председателя нейробиологии. В то время ваша работа была сосредоточена на обработке информации в мозге. Не могли бы вы рассказать нам о некоторых из этих исследований?

В широком смысле моя работа была направлена на понимание вопроса: “Как мозг делает то, что он делает, используя только то, что у него есть?” Во-первых, я не подписываюсь под идеей, что мозг – это своего рода компьютер (в смысле фон Неймана). Я вижу его как огромную сеть, которая в основном выполняет операции стимул-реакция и кодирования сигналов. В этой огромной сети есть четкие закономерности связности между функционально специализированными областями. Когда мы приближаемся, мы видим, что нейроны не заботятся о том, какой сигнал они передают или в какой части мозга они находятся – они работают на основе очень предсказуемых правил. Итак, если мы хотим понять функцию этих специализированных областей, нам нужно задать несколько вопросов: (1) Как входной сигнал, проходящий через сеть, объединяется с другими входными сигналами, чтобы произвести решение? (2) Как структура этих специализированных областей формируется в результате опыта? И (3) как они продолжают меняться, когда мы используем наш мозг и учимся со временем? Мои исследования пытались решить эти вопросы, используя смесь экспериментальных исследований, теории информации и моделирования и симуляции – что-то, что могло бы позволить нам построить искусственные системы принятия решений и ИИ. В терминах нейробиологии я изучал нейропластичность и микроанатомию специализированных областей, таких как зрительная кора.

Затем вы перевели свою работу в дополненную реальность и интерфейсы мозг-компьютер. Какие были некоторые из продуктов, над которыми вы работали?

Около 2008 года я работал над проектом, который мы сейчас назвали бы дополненной реальностью, но в то время это была просто система для отслеживания и прогнозирования движений глаз, а затем использование этих прогнозов для обновления чего-то на экране. Чтобы сделать систему работоспособной в реальном времени, я построил биологически вдохновленную модель, которая прогнозировала, где зритель будет, основываясь на их микросаккадах – крошечных движениях глаз, которые происходят прямо перед тем, как вы переместите глаз. Используя эту модель, я мог прогнозировать, где зритель будет смотреть, а затем обновить буфер кадра в графической карте, пока их глаза еще были в движении. К тому времени, когда их глаза достигли этого нового места на экране, изображение уже было обновлено. Эта технология работала на обычном настольном компьютере в 2008 году, без каких-либо задержек. Технология была довольно удивительной, но проект не прошел следующий раунд финансирования, поэтому он умер.

В 2011 году я сделал более целенаправленную попытку разработки продукта и построил нейронную сеть, которая могла выполнять открытие функций на потоковых данных ЭЭГ, которые мы измеряли с помощью скальпа. Это является основной функцией большинства систем интерфейса мозг-компьютер. Проект также был экспериментом по “насколько маленьким мы можем сделать эту систему?” У нас был гарнитур, который читал несколько каналов данных ЭЭГ с частотой 400 Гц, которые передавались через Bluetooth на телефон Android для открытия функций и классификации, а затем передавались на контроллер, работающий на Arduino, который мы модифицировали в готовом радиоуправляемом автомобиле. Когда его использовал человек, носивший гарнитур ЭЭГ, он мог водить и управлять автомобилем, меняя свои мысли от выполнения умственных математических операций до пения песни. Алгоритм работал на телефоне и создавал персонализированный “отпечаток мозга” для каждого пользователя, позволяя им переключаться между различными роботизированными устройствами без необходимости переобучения на каждом устройстве. Слоган, который мы придумали, был “Управление мозгом встречает Plug-and-Play”.

В 2012 году мы расширили систему, чтобы она работала в гораздо более распределенном порядке на меньшем оборудовании. Мы использовали ее для управления многосегментным, многосуставным роботизированным рукой, в котором каждый сегмент был управляем независимым процессором, который запускал встроенную версию ИИ. Вместо использования централизованного контроллера для манипулирования рукой мы позволили сегментам самоорганизовываться и достигать своей цели в манере, подобной рою. Другими словами, как муравьи формируют мост, сегменты руки сотрудничали, чтобы достичь какой-то цели в пространстве.

Мы продолжали двигаться в этом же направлении, когда мы впервые запустили Quorum AI – первоначально известную как Quorum Robotics – в 2013 году. Мы быстро поняли, что система была удивительной не из-за аппаратуры, а из-за алгоритма и архитектуры, поэтому в конце 2014 года мы полностью перешли на программное обеспечение. Теперь, 8 лет спустя, Quorum AI возвращается к своим роботизированным корням, применяя нашу основу к NASA Space Robotics Challenge.

Уход с должности профессора, чтобы запустить стартап, должен был быть трудным решением. Что вдохновило вас на это?

Это был огромный шаг для меня во многих отношениях, но как только возможность появилась и путь стал ясным, это было легкое решение. Когда вы являетесь профессором, вы думаете в многолетних временных рамках и работаете над очень долгосрочными исследовательскими целями. Запуск стартапа – это полная противоположность этому. Однако одна вещь, которая общая для академической жизни и стартапа, заключается в том, что обе требуют от вас постоянного обучения и решения проблем. В стартапе это может означать попытку переинженерить решение, чтобы уменьшить риск разработки продукта, или, может быть, изучение нового вертикала, который мог бы извлечь пользу из нашей технологии. Работа в ИИ – это самое близкое к “призванию”, которое я когда-либо чувствовал, поэтому, несмотря на все проблемы и взлеты и падения, я чувствую себя невероятно удачливым, делая работу, которую я делаю.

Вы с тех пор разработали Quorum AI, который разрабатывает реальное, распределенное искусственное интеллект для всех устройств и платформ. Не могли бы вы рассказать нам, что именно делает эта платформа ИИ?

Платформа называется Среда для виртуальных агентов (EVA), и она позволяет пользователям строить, обучать и развертывать модели, используя наш движок ИИ Engram. Engram – это гибкая и портативная оболочка, которую мы построили вокруг наших алгоритмов самообучения. Алгоритмы настолько эффективны, что они могут учиться в реальном времени, пока модель генерирует прогнозы. Поскольку алгоритмы являются задачено-независимыми, нет явного входа или выхода из модели, поэтому прогнозы можно делать в байесовском стиле для любой размерности без переобучения и без страдания от катастрофического забывания. Модели также прозрачны и декомпозируемы, что означает, что их можно осмотреть и разобрать на отдельные размерности без потери того, что было выучено.

Как только построены, модели можно развернуть через EVA на любую платформу, от пользовательского встроенного оборудования до облака. EVA (и встроенное программное обеспечение) также содержит несколько инструментов для расширения функциональности каждой модели. Несколько быстрых примеров: модели можно обмениваться между системами через систему публикации/подписки, что позволяет распределенным системам достичь федеративного обучения как во времени, так и в пространстве. Модели также можно развернуть как автономные агенты для выполнения произвольных задач, и поскольку модель является задачено-независимой, задачу можно изменить во время выполнения без переобучения. Каждый отдельный агент можно расширить с помощью частного “виртуального” EVA, что позволяет агенту моделировать модели других агентов в безмасштабном стиле. Наконец, мы создали некоторые оболочки для систем глубокого обучения и обучения с подкреплением (на основе Keras), чтобы позволить этим моделям работать на платформе, в концерте с более гибкими системами, основанными на Engram.

Вы ранее описали алгоритмы Quorum AI как “математическую поэзию”. Что вы имели в виду под этим?

Когда вы строите модель, будь то моделирование мозга или моделирование данных продаж для вашей компании, вы начинаете с инвентаризации своих данных, а затем пробуете известные классы моделей, чтобы попытаться приблизиться к системе. По сути, вы создаете грубые эскизы системы, чтобы увидеть, что выглядит лучше всего. Вы не ожидаете, что вещи будут очень хорошо вписываться в данные, и есть некоторый проб и ошибок, когда вы тестируете разные гипотезы о том, как работает система, но с некоторой изысканностью вы можете захватить данные довольно хорошо.

Когда я моделировал нейропластичность в мозге, я начал с обычного подхода, составив все молекулярные пути, состояния перехода и динамику, которые, как я думал, будут иметь значение. Но я обнаружил, что когда я уменьшил систему до ее наиболее основных компонентов и расположил эти компоненты в определенном порядке, модель стала более и более точной, пока не подошла почти идеально к данным. Это было как будто каждый оператор и переменная в уравнениях были именно тем, что им нужно было быть, не было ничего лишнего, и все было необходимо для подгонки данных.

Когда я подключил модель к более крупным и более крупным симуляциям, таким как развитие зрительной системы или распознавание лиц, например, она смогла сформировать чрезвычайно сложные закономерности связности, которые соответствовали тому, что мы видим в мозге. Поскольку модель была математической, эти закономерности мозга можно было понять через математический анализ, давая новые идеи о том, что мозг учит. С тех пор мы решили и упростили дифференциальные уравнения, которые составляют модель, улучшив вычислительную эффективность на несколько порядков. Это может не быть настоящей поэзией, но это точно так feels!

Набор инструментов Quorum AI позволяет устройствам соединяться друг с другом, чтобы учиться и делиться данными, не требуя передачи через облачные серверы. Каковы преимущества этого подхода по сравнению с использованием облака?

Мы даем пользователям возможность размещать свой ИИ где угодно, не компрометируя функциональность ИИ. Статус-кво в разработке ИИ заключается в том, что компании обычно вынуждены идти на компромисс в отношении безопасности, конфиденциальности или функциональности, потому что их единственный вариант – использовать облачные услуги ИИ. Если компании пытаются построить свой собственный ИИ внутри, это часто требует много денег и времени, и ROI редко стоит риска. Если компании хотят развернуть ИИ на отдельные устройства, не подключенные к облаку, проект быстро становится невозможным. В результате принятие ИИ становится фантазией.

Наша платформа делает ИИ доступным и доступным, давая компаниям возможность изучить разработку и принятие ИИ без технических или финансовых затрат. И кроме того, наша платформа позволяет пользователям перейти от разработки к развертыванию в одном беспрепятственном шаге.

Наша платформа также интегрируется и расширяет срок службы других “устаревших” моделей, таких как глубокое обучение или обучение с подкреплением, помогая компаниям повторно использовать и интегрировать существующие системы в новые приложения. Аналогично, поскольку наши алгоритмы и архитектуры уникальны, наши модели не являются черными ящиками, поэтому все, что система учит, можно изучить и интерпретировать людьми, а затем расширить на другие области бизнеса.

Некоторые считают, что Распределенный Искусственный Интеллект (DAI) может привести путь к Искусственному Общему Интеллекту (AGI). Вы подписываетесь под этой теорией?

Да, и не только потому, что это путь, по которому мы направились! Когда вы смотрите на мозг, он не является монолитной системой. Это состоит из отдельных, распределенных систем, каждая из которых специализируется на узком диапазоне функций мозга. Мы можем не знать, что делает определенная система, но мы знаем, что ее решения зависят значительно от типа информации, которую она получает, и от того, как эта информация меняется со временем. (Это почему темы нейробиологии, такие как коннектом, так популярны.)

На мой взгляд, если мы хотим построить ИИ, который гибок и ведет себя как мозг, то имеет смысл рассмотреть распределенные архитектуры, такие как те, которые мы видим в мозге. Можно утверждать, что архитектуры глубокого обучения, такие как многослойные сети или CNN, можно найти в мозге, и это правда, но эти архитектуры основаны на том, что мы знали о мозге 50 лет назад.

Альтернатива DAI заключается в продолжении итераций над монолитными, негибкими архитектурами, которые тесно связаны с единственным пространством принятия решений, такими как те, которые мы видим в глубоком обучении или обучении с подкреплением (или любом методе обучения с учителем, вообще). Я бы предложил, что эти ограничения не являются просто вопросом подстройки параметров или добавления слоев или обработки данных – эти проблемы являются фундаментальными для глубокого обучения и обучения с подкреплением, по крайней мере, как мы определяем их сегодня, поэтому требуются новые подходы, если мы хотим продолжать инновации и строить ИИ завтрашнего дня.

Вы считаете, что достижение AGI с помощью DAI более вероятно, чем методы обучения с подкреплением и/или глубокого обучения, которые в настоящее время преследуются компаниями, такими как OpenAI и DeepMind?

Да, хотя, исходя из того, о чем они блогуют, я подозреваю, что OpenAI и DeepMind используют более распределенные архитектуры, чем они позволяют себе. Мы начинаем слышать больше о многосистемных проблемах, таких как перенос обучения или федеративное/распределенное обучение, и, совпадение, о том, как подходы глубокого обучения и обучения с подкреплением не будут работать для этих проблем. Мы также начинаем слышать от пионеров, таких как Йошуа Бенджио, о том, как биологически вдохновленные архитектуры могли бы мостить разрыв! Я работаю над биологически вдохновленным ИИ почти 20 лет, поэтому я чувствую себя очень хорошо о том, что мы узнали в Quorum AI, и о том, как мы используем это для построения того, что мы считаем следующим поколением ИИ, которое преодолеет эти ограничения.

Есть ли что-то еще, что вы хотели бы поделиться о Quorum AI?

Мы будем предварительно просматривать нашу новую платформу для распределенного и агентного ИИ на Federated and Distributed Machine Learning Conference в июне 2020 года. Во время выступления я планирую представить некоторые недавние данные по нескольким темам, включая анализ настроений как мост к достижению сочувствующего ИИ.

Я хотел бы выразить особую благодарность Ноа за эти удивительные ответы, и я бы рекомендовал вам посетить Quorum, чтобы узнать больше.