Ноа Шварц, сооснователь и генеральный директор Quorum AI – Интервью

Ноа – архитектор систем искусственного интеллекта. До основания Quorum AI Ноа провел 12 лет в академических исследованиях, сначала в Университете Южной Калифорнии, а затем в Северо-Западном университете в качестве помощника председателя кафедры нейробиологии. Его работа была сосредоточена на обработке информации в мозге, и он смог применить свои исследования к разработке продуктов в области дополненной реальности, интерфейсов мозг-компьютер, компьютерного зрения и встроенных систем управления роботами.

Ваш интерес к ИИ и робототехнике начался, когда вы были еще маленьким мальчиком. Расскажите, как вы впервые познакомились с этими технологиями?

Первый искорка интереса возник из научно-фантастических фильмов и любви к электронике. Я помню, как смотрел фильм “Трон” в 8 лет, а затем “Электрические сны”, “Короткое замыкание”, “ДАРИЛ”, “Игры войны” и другие в течение следующих нескольких лет. Хотя все это было представлено через вымысел, идея искусственного интеллекта просто поразила меня. И даже в 8 лет я почувствовал мгновенную связь и сильное притяжение к ИИ, которое не ослабло со временем.

Как развивались ваши увлечения ИИ и робототехникой?

Мой интерес к ИИ и робототехнике развивался параллельно с увлечением мозгом. Мой отец был учителем биологии и учил меня о теле, о том, как все работает, и о том, как все связано. Смотреть на ИИ и смотреть на мозг казалось мне одной и той же проблемой – или, по крайней мере, они имели один и тот же окончательный вопрос, который был: “Как это работает?” Меня интересовали оба, но я не получил много знаний об ИИ или робототехнике в школе. Поэтому я первоначально занимался ИИ в свое свободное время и изучал биологию и психологию в школе.

Когда я поступил в колледж, я открыл для себя книги Parallel Distributed Processing (PDP), которые были для меня огромным открытием. Они стали моим первым знакомством с настоящим ИИ, что затем привело меня обратно к классикам, таким как Хебб, Розенблатт и даже Маккаллох и Питтс. Я начал строить нейронные сети на основе нейроанатомии и того, что я узнал из биологии и психологии в школе. После окончания университета я работал инженером компьютерных сетей, строил сложные, широкополосные сети и писал программное обеспечение для автоматизации и управления трафиком на этих сетях – примерно как строил большие мозги. Эта работа заново разожгла мое увлечение ИИ и мотивировала меня пойти в аспирантуру, чтобы изучать ИИ и нейробиологию, и все остальное – история.

До основания Quorum AI вы провели 12 лет в академических исследованиях, сначала в Университете Южной Калифорнии, а затем в Северо-Западном университете в качестве помощника председателя кафедры нейробиологии. В то время ваша работа была сосредоточена на обработке информации в мозге. Расскажите о некоторых из этих исследований.

В широком смысле мои исследования были направлены на понимание вопроса: “Как мозг делает то, что он делает, используя только то, что у него есть?” Сначала я не согласен с идеей, что мозг – это своего рода компьютер (в смысле фон Неймана). Я вижу его как огромную сеть, которая в основном выполняет операции стимул-реакция и кодирования сигналов. Внутри этой огромной сети есть четкие закономерности связности между функционально специализированными областями. Когда мы приближаемся, мы видим, что нейроны не заботятся о том, какой сигнал они передают или в какой части мозга они находятся – они работают на основе очень предсказуемых правил. Итак, если мы хотим понять функцию этих специализированных областей, нам нужно задать несколько вопросов: (1) Как вход, проходящий через сеть, сходится с другими входами, чтобы произвести решение? (2) Как структура этих специализированных областей формируется в результате опыта? И (3) как они продолжают меняться, когда мы используем наш мозг и учимся со временем? Мои исследования пытались решить эти вопросы, используя смесь экспериментальных исследований, теории информации и моделирования и симуляции – что-то, что могло бы позволить нам построить искусственные системы принятия решений и ИИ. В терминах нейробиологии я изучал нейропластичность и микроанатомию специализированных областей, таких как зрительная кора.

Затем вы перевели свою работу в области дополненной реальности и интерфейсов мозг-компьютер. Расскажите о некоторых из продуктов, над которыми вы работали.

Около 2008 года я работал над проектом, который мы сейчас бы назвали дополненной реальностью, но тогда это была просто система для отслеживания и прогнозирования движений глаз, а затем использование этих прогнозов для обновления чего-то на экране. Чтобы сделать систему работоспособной в реальном времени, я построил биологически вдохновленную модель, которая прогнозировала, где будет зритель, основываясь на его микросаккадах – крошечных движениях глаз, которые происходят прямо перед тем, как вы перемещаете глаз. Используя эту модель, я мог прогнозировать, где будет зритель, а затем обновить буфер кадра в графической карте, пока его глаза были еще в движении. К тому времени, когда его глаза достигли нового места на экране, изображение уже было обновлено. Это работало на обычном настольном компьютере в 2008 году, без каких-либо задержек. Технология была довольно удивительной, но проект не прошел следующий раунд финансирования, поэтому он умер.

В 2011 году я сделал более целенаправленную попытку разработать продукт и построил нейронную сеть, которая могла выполнять открытие функций на потоковых данных ЭЭГ, которые мы измеряли с помощью скальпа. Это является основной функцией большинства систем интерфейса мозг-компьютер. Проект также был экспериментом по вопросу: “Какой самый маленький след мы можем получить, чтобы это работало?” У нас был гарнитур, который читал несколько каналов данных ЭЭГ на частоте 400 Гц, которые передавались по Bluetooth на телефон Android для открытия функций и классификации, а затем передавались на контроллер Arduino, который мы встроили в готовый радиоуправляемый автомобиль. Когда его использовал человек, носивший гарнитур ЭЭГ, он мог водить и управлять автомобилем, меняя свои мысли от выполнения умственных расчетов до пения песни. Алгоритм работал на телефоне и создавал персонализированный “отпечаток мозга” для каждого пользователя, позволяя ему переключаться между различными роботизированными устройствами без необходимости переобучения на каждом устройстве. Слоган, который мы придумали, был “Контроль мозга встречает Plug-and-Play”.

В 2012 году мы расширили систему, чтобы она работала в гораздо более распределенной манере на меньшем оборудовании. Мы использовали ее для управления многосегментной, многосуставной роботизированной рукой, в которой каждый сегмент был управляем независимым процессором, который запускал встроенную версию ИИ. Вместо использования централизованного контроллера для манипулирования рукой мы позволили сегментам самоорганизовываться и достигать своей цели в распределенной, подобной рою манере. Другими словами, как муравьи образуют мост, сегменты руки сотрудничали, чтобы достичь какой-то цели в пространстве.

Мы продолжали двигаться в этом же направлении, когда впервые запустили Quorum AI – изначально известный как Quorum Robotics – в 2013 году. Мы быстро поняли, что система была удивительной благодаря алгоритму и архитектуре, а не аппаратному обеспечению, поэтому в конце 2014 года мы полностью перешли на программное обеспечение. Теперь, 8 лет спустя, Quorum AI возвращается к своим роботизированным корням, применяя нашу основу к вызову NASA по робототехнике в космосе.

Уход с работы профессора, чтобы запустить стартап, должен был быть трудным решением. Что вдохновило вас на это?

Это был огромный шаг для меня во многих отношениях, но как только появилась возможность и стал ясен путь, это было легкое решение. Когда вы профессор, вы думаете в многолетних периодах и работаете над очень долгосрочными исследовательскими целями. Запуск стартапа – это полная противоположность этому. Однако одна вещь, которую имеют общим академическая жизнь и жизнь стартапа, – это то, что обе требуют от вас постоянного обучения и решения проблем. В стартапе это может означать попытку переинженерить решение, чтобы уменьшить риск разработки продукта, или, может быть, изучение новой вертикали, которая могла бы извлечь пользу из нашей технологии. Работа в ИИ – это самое близкое к “призванию”, которое я когда-либо чувствовал, поэтому, несмотря на все проблемы и взлеты и падения, я чувствую себя невероятно удачливым, что делаю ту работу, которую я делаю.

Вы с тех пор разработали Quorum AI, которая создает искусственный интеллект в реальном времени для всех устройств и платформ. Расскажите подробнее о том, что делает эта платформа ИИ?

Платформа называется Environment for Virtual Agents (EVA), и она позволяет пользователям строить, обучать и развертывать модели, используя наш движок Engram AI. Engram – это гибкая и переносимая оболочка, которую мы построили вокруг наших алгоритмов обучения без учителя. Алгоритмы настолько эффективны, что они могут учиться в реальном времени, пока модель генерирует прогнозы. Поскольку алгоритмы не зависят от конкретной задачи, нет явного входа или выхода из модели, поэтому прогнозы могут быть сделаны в байесовском стиле для любой размерности без переобучения и без страдания от катастрофического забывания. Модели также прозрачны и декомпозируемы, то есть их можно осмотреть и разбить на отдельные размерности без потери того, что было выучено.

Как только модели построены, их можно развернуть через EVA на любую платформу, от пользовательского встроенного оборудования до облака. EVA (и встраиваемое программное обеспечение хоста) также содержат несколько инструментов для расширения функциональности каждой модели. Несколько быстрых примеров: модели можно обмениваться между системами через систему публикации/подписки, что позволяет распределенным системам достигать федеративного обучения как во времени, так и в пространстве. Модели также можно развертывать как автономные агенты для выполнения произвольных задач, и поскольку модель не зависит от конкретной задачи, задачу можно изменить во время выполнения без переобучения. Каждый отдельный агент можно расширить с помощью частной “виртуальной” EVA, что позволяет агенту симулировать модели других агентов в безмасштабном стиле. Наконец, мы создали некоторые оболочки для систем глубокого обучения и обучения с подкреплением (на основе Keras), чтобы позволить этим моделям работать на нашей платформе, в концерте с более гибкими системами на основе Engram.

Вы ранее описали алгоритмы Quorum AI как “математическую поэзию”. Что вы имели в виду под этим?

Когда вы строите модель, будь то моделирование мозга или моделирование данных продаж для вашей компании, вы начинаете с инвентаризации своих данных, а затем пробуете известные классы моделей, чтобы попытаться приблизиться к системе. По сути, вы создаете грубые эскизы системы, чтобы увидеть, что выглядит лучше. Вы не ожидаете, что все будет хорошо соответствовать данным, и есть некоторый проб и ошибок, когда вы тестируете разные гипотезы о том, как работает система, но с некоторой изощренностью вы можете довольно хорошо захватить данные.

Когда я моделировал нейропластичность в мозге, я начал с обычного подхода, сопоставляя все молекулярные пути, состояния перехода и динамику, которые, как я думал, будут иметь значение. Но я обнаружил, что когда я уменьшил систему до ее наиболее основных компонентов и расположил эти компоненты в определенном порядке, модель стала все более и более точной, пока не соответствовала данным почти идеально. Это было как будто каждый оператор и переменная в уравнениях были именно тем, что им нужно было, не было ничего лишнего, и все было необходимо для соответствия данным.

Когда я подключил модель к более крупным и более крупным симуляциям, таким как развитие зрительной системы или распознавание лиц, например, она смогла сформировать чрезвычайно сложные закономерности связности, которые соответствовали тому, что мы видим в мозге. Поскольку модель была математической, эти закономерности мозга можно было понять через математический анализ, давая новые идеи о том, что мозг учит. С тех пор мы решили и упростили дифференциальные уравнения, которые составляют модель, улучшив вычислительную эффективность на несколько порядков. Это может не быть настоящей поэзией, но это определенно чувствовалось так!

Платформа инструментов Quorum AI позволяет устройствам соединяться друг с другом, чтобы учиться и делиться данными без необходимости общаться через облачные серверы. Каковы преимущества этого подхода по сравнению с использованием облака?

Мы даем пользователям возможность размещать свой ИИ где угодно, не компрометируя функциональность ИИ. Статус-кво в разработке ИИ заключается в том, что компании обычно вынуждены идти на компромисс в отношении безопасности, конфиденциальности или функциональности, потому что их единственный вариант – использование облачных сервисов ИИ. Если компании пытаются построить свой собственный ИИ внутри, это часто требует много денег и времени, и ROI редко стоит риска. Если компании хотят развернуть ИИ на отдельные устройства, не подключенные к облаку, проект быстро становится невозможным. В результате принятие ИИ становится фантазией.

Наша платформа делает ИИ доступным и доступным, давая компаниям возможность изучить разработку и принятие ИИ без технического или финансового бремени. И, кроме того, наша платформа позволяет пользователям перейти от разработки к развертыванию в одном безшовном шаге.

Наша платформа также интегрируется и продлевает срок службы других “устаревших” моделей, таких как глубокое обучение или обучение с подкреплением, помогая компаниям повторно использовать и интегрировать существующие системы в новые приложения. Аналогично, поскольку наши алгоритмы и архитектуры уникальны, наши модели не являются черными ящиками, поэтому все, что система учит, может быть исследовано и интерпретировано людьми, а затем расширено на другие области бизнеса.

Некоторые считают, что Распределенный Искусственный Интеллект (DAI) может привести путь к Общему Искусственному Интеллекту (AGI). Вы придерживаетесь этой теории?

Да, и не только потому, что это путь, по которому мы ourselves! Когда вы смотрите на мозг, он не является монолитной системой. Это состоит из отдельных, распределенных систем, каждая из которых специализируется на узком диапазоне функций мозга. Мы можем не знать, что конкретно делает система, но мы знаем, что ее решения сильно зависят от типа информации, которую она получает, и от того, как эта информация меняется со временем. (Это почему темы нейробиологии, такие как коннектом, так популярны.)

На мой взгляд, если мы хотим построить ИИ, который гибок и ведет себя как мозг, то имеет смысл рассмотреть распределенные архитектуры, такие как те, которые мы видим в мозге. Можно утверждать, что архитектуры глубокого обучения, такие как многослойные сети или CNN, можно найти в мозге, и это правда, но эти архитектуры основаны на том, что мы знали о мозге 50 лет назад.

Альтернатива DAI – это продолжать итерировать монолитные, негибкие архитектуры, которые тесно связаны с единственным пространством принятия решений, как те, которые мы видим в глубоком обучении или обучении с подкреплением (или любом методе обучения с учителем, вообще). Я бы предложил, что эти ограничения не являются просто вопросом подстройки параметров или добавления слоев или условий данных – эти проблемы являются фундаментальными для глубокого обучения и обучения с подкреплением, по крайней мере, как мы определяем их сегодня, поэтому новые подходы необходимы, если мы хотим продолжать инновации и строить ИИ завтрашнего дня.

Считаете ли вы, что достижение AGI с помощью DAI более вероятно, чем с помощью методов обучения с подкреплением и/или глубокого обучения, которые в настоящее время разрабатываются компаниями, такими как OpenAI и DeepMind?

Да, хотя, судя по их блогам, я подозреваю, что OpenAI и DeepMind используют более распределенные архитектуры, чем они признают. Мы начинаем слышать больше о многосистемных проблемах, таких как переносное обучение или федеративное/распределенное обучение, и, кстати, о том, что подходы глубокого обучения и обучения с подкреплением не будут работать для этих проблем. Мы также начинаем слышать от пионеров, таких как Йошуа Бенджио, о том, как биологически вдохновленные архитектуры могли бы мостить этот разрыв! Я работал над биологически вдохновленным ИИ почти 20 лет, поэтому я чувствую себя очень хорошо о том, что мы узнали в Quorum AI, и о том, как мы используем это для построения того, что мы считаем следующим поколением ИИ, которое преодолеет эти ограничения.

Есть ли что-то еще, что вы хотели бы поделиться о Quorum AI?

Мы будем предварительно просматривать нашу новую платформу для распределенного и агентного ИИ на конференции по федеративному и распределенному обучению с помощью машин в июне 2020 года. Во время доклада я планирую представить некоторые недавние данные по нескольким темам, включая анализ настроений как мост к достижению эмпатичного ИИ.

Я хотел бы выразить особую благодарность Ноа за эти удивительные ответы, и я рекомендую вам посетить Quorum, чтобы узнать больше.