Ной Шварц, співзасновник та CEO Quorum AI – Серія інтерв’ю

Ной – архітектор систем штучного інтелекту. До заснування Quorum AI, Ной провів 12 років у наукових дослідженнях, спочатку в Університеті Південної Каліфорнії, а пізніше в Північно-Західному університеті на посаді заступника голови нейробіології. Його робота була зосереджена на обробці інформації в мозку, і він перевів свої дослідження у продукти в області доповненої реальності, інтерфейсів “мозок-комп’ютер”, комп’ютерного зору та вбудованих систем контролю робототехніки.

Як вас спочатку зацікавили штучний інтелект і робототехніка?

Перший спалах інтересу виник з науково-фантастичних фільмів та любові до електроніки. Я пам’ятаю, як дивився фільм “Трон” у віці 8 років, а потім “Електричні мрії”, “Коротке замикання”, “DARYL”, “Війниเกมи” та інші протягом наступних кількох років. Хоча це було представлено через художню літературу, сама ідея штучного інтелекту вразила мене. І хоча мені було лише 8 років, я відчув миттєву зв’язок і сильний потяг до штучного інтелекту, який ніколи не зменшувався з часом.

Як ваші інтереси до штучного інтелекту та робототехніки розвивалися?

Мій інтерес до штучного інтелекту та робототехніки розвивався паралельно з пристрастю до мозку. Мій батько був учителем біології і розповідав мені про тіло, як все працює і як все пов’язано. Подивитися на штучний інтелект і подивитися на мозок здавалося мені однією і тією ж проблемою – або хоча б вони мали одну і ту ж кінцеву мету, яка полягала в тому, щоб дізнатися, як це працює? Мене цікавили обидва питання, але я не отримував багато інформації про штучний інтелект чи робототехніку в школі. Через це я спочатку займався штучним інтелектом у вільний час і вивчав біологію та психологію в школі.

Коли я потрапив до коледжу, я відкрив для себе книги Parallel Distributed Processing (PDP), які були величезним відкриттям для мене. Це були мої перші знайомства з справжнім штучним інтелектом, який потім привів мене до класики, таких як Хебб, Розенблатт і навіть Маккалох і Піттс. Я почав будувати нейронні мережі на основі нейроанатомії і того, що я вивчив з біології та психології в школі. Після закінчення навчання я працював інженером комп’ютерних мереж, будуючи складні широкомісткі мережі та написав програмне забезпечення для автоматизації та управління трафіком на цих мережах – ніби будуючи великі мозки. Робота знову розпечатала мою пристрасть до штучного інтелекту і мотивувала мене вступити до аспірантури для вивчення штучного інтелекту та нейробіології, і все інше – історія.

До заснування Quorum AI ви провели 12 років у наукових дослідженнях, спочатку в Університеті Південної Каліфорнії, а пізніше в Північно-Західному університеті на посаді заступника голови нейробіології. Вашу роботу на той час зосереджено на обробці інформації в мозку. Можете розповісти про деякі з цих досліджень?

У широкому сенсі, моє дослідження намагалося відповісти на питання: Як мозок робить те, що він робить, використовуючи тільки те, що у нього є? Спочатку я не підтримую ідею, що мозок – це тип комп’ютера (у сенсі фон Неймана). Я бачу його як величезну мережу, яка здебільшого виконує операції стимул-відгук та кодування сигналів. У цій величезній мережі є чіткі закономірності зв’язку між функціонально спеціалізованими областями. Коли ми зближаємося, ми бачимо, що нейрони не турбуються про те, який сигнал вони несуть або в якій частині мозку вони знаходяться – вони працюють на основі дуже передбачуваних правил. Отже, якщо ми хочемо зрозуміти функцію цих спеціалізованих областей, нам потрібно поставити кілька питань: (1) Як вхідний сигнал збігається з іншими вхідними сигналами, щоб виробити рішення? (2) Як структура цих спеціалізованих областей формується в результаті досвіду? І (3) як вони продовжують змінюватися, коли ми використовуємо наш мозок і вчимося з часом? Моє дослідження намагалося відповісти на ці питання за допомогою поєднання експериментальних досліджень, теорії інформації та моделювання та симуляції – щось, що могло б дозволити нам будувати штучні системи прийняття рішень та штучний інтелект. У термінах нейробіології я вивчав нейропластичність та мікроанатомію спеціалізованих областей, таких як зоровий кортекс.

Ви потім перевели свою роботу в області доповненої реальності та інтерфейсів “мозок-комп’ютер”. Які були деякі з продуктів, над якими ви працювали?

Приблизно в 2008 році я працював над проектом, який ми зараз назвали б доповненою реальністю, але тоді це була просто система для відстеження та прогнозування рухів очей, а потім використання цих прогнозів для оновлення чогось на екрані. Щоб зробити систему працюючою в реальному часі, я побудував біологічно-інспіровану модель, яка прогнозувала, куди гляне глядач, на основі їх мікросакад – маленьких рухів очей, які відбуваються просто перед тим, як ви рухаєте око. Використовуючи цю модель, я міг прогнозувати, куди гляне глядач, а потім оновлювати буфер кадру в графічній карті, поки очі глядача ще рухалися. До того часу, як очі глядача досягли нового місця на екрані, зображення вже було оновлено. Ця технологія була досить чудова, але проект не пройшов до наступного раунду фінансування, тому він загинув.

У 2011 році я зробив більш зосереджений зусилля щодо розробки продукту і побудував нейронну мережу, яка могла виконувати відкриття ознак на потокових даних ЕЕГ, які ми вимірювали з поверхні голови. Це є основною функцією більшості систем інтерфейсу “мозок-комп’ютер”. Проект також був експериментом з як малим слід зробити цей запуск? У нас був гарнітур, який читав кілька каналів даних ЕЕГ з частотою 400 Гц, які передавалися через Bluetooth на телефон Android для відкриття ознак та класифікації, а потім передавалися на контролер, що працює на основі Arduino, який ми переробили в готовий радіокерований автомобіль. Коли його використовували, людина, яка носила гарнітур ЕЕГ, могла керувати автомобілем і керувати ним, змінюючи свої думки від виконання математичних розрахунків до співу пісні. Алгоритм працював на телефоні та створював персоналізований “відбиток мозку” для кожного користувача, дозволяючи їм перемикатися між різними роботизованими пристроями без необхідності повторної тренування на кожному пристрої. Слоган, який ми придумали, був “Контроль мозком зустрічає Plug-and-Play”.

У 2012 році ми розширили систему так, щоб вона працювала в більш розподіленому вигляді на меншому обладнанні. Ми використали її для контролю багатосегментного, багатозв’язного роботизованого рукава, у якому кожен сегмент контролювався незалежним процесором, який запускав вбудовану версію штучного інтелекту. Замість використання централізованого контролера для маніпулювання рукавом, ми дозволили сегментам самозорганізуватися та досягти цілі в modo, подібному до рою. Інакше кажучи, як мурахи, що утворюють міст мурах, сегменти рукава співпрацювали, щоб досягти деякої мети в просторі.

Ми продовжували рухатися в тому ж напрямку, коли вперше запустили Quorum AI – спочатку відомий як Quorum Robotics – у 2013 році. Ми швидко зрозуміли, що система була чудова не через апаратне забезпечення, а через алгоритм та архітектуру, тому наприкінці 2014 року ми повністю перейшли на програмне забезпечення. Тепер, через 8 років, Quorum AI повертається до тих же коренів робототехніки, застосовуючи нашу структуру до NASA Space Robotics Challenge.

Кинути роботу професора, щоб запустити стартап, мало бути складним рішенням. Що надихнуло вас зробити це?

Це був величезний стрибок для мене в багатьох аспектах, але як тільки з’явилася можливість і став ясний шлях, це було легке рішення. Коли ви професор, ви думаєте у багаторічних рамках і працюєте над довгостроковими науковими цілями. Запуск стартапу – це саме протилежне цьому. Однак одна річ, яку академічне життя та життя стартапу мають спільного, полягає в тому, що обидва вимагають від вас постійного навчання та вирішення проблем. У стартапі це може означати спробу переробити рішення для зменшення ризику розробки продукту або, можливо, вивчення нового напрямку, який міг би виграти від нашої технології. Працювати в галузі штучного інтелекту – це найближче до “повікання”, яке я коли-небудь відчував, тому незважаючи на всі виклики та підйоми та падіння, я відчуваю себе надзвичайно щасливим, що роблю ту роботу, яку роблю.

Ви з тих пір розробили Quorum AI, який розробляє реальний, розподілений штучний інтелект для всіх пристроїв та платформ. Чи можете розповісти про те, що саме робить ця платформа штучного інтелекту?

Платформа називається Environment for Virtual Agents (EVA), і вона дозволяє користувачам будувати, тренувати та розгортати моделі за допомогою нашого Engram AI Engine. Engram – це гнучкий і портативний обгортання, яке ми побудували навколо наших алгоритмів несупервізованого навчання. Алгоритми настільки ефективні, що можуть навчатися в реальному часі, коли модель генерує прогнози. Через те, що алгоритми є агностичними щодо завдання, немає явного входу чи виходу з моделі, тому прогнози можуть бути зроблені в баєсовому стилі для будь-якої розмірності без повторної тренування та без страждання від катастрофічного забуття. Моделі також прозорі та розбірливі, тобто їх можна оглянути та розбити на окремі розмірності без втрати того, що було вивчено.

Після побудови моделі їх можна розгорнути через EVA на будь-яку платформу, від спеціального вбудованого обладнання до хмарних обчислень. EVA (та вбудоване програмне забезпечення) також містять кілька інструментів для розширення функціональності кожної моделі. Деякі швидкі приклади: Моделі можна поділитися між системами через систему публікації/підписки, що дозволяє розподіленим системам досягати федеративного навчання як у часі, так і в просторі. Моделі також можна розгорнути як автономні агенти для виконання довільних завдань, і через те, що модель є агностичною щодо завдання, завдання можна змінити під час виконання без повторної тренування. Кожен окремий агент можна розширити приватним “віртуальним” EVA, що дозволяє агенту симулювати моделі інших агентів у безмасштабному стилі. Нарешті, ми створили деякі обгортання для систем глибокого навчання та навчання з підкріпленням (на основі Keras) для того, щоб ці моделі могли працювати на платформі, у концерті з більш гнучкими системами на основі Engram.

Ви раніше описували алгоритми Quorum AI як “математичну поезію”. Що ви мали на увазі під цим?

Коли ви будуєте модель, незалежно від того, чи моделюєте ви мозок, чи моделюєте дані про продажі для вашої компанії, ви починаєте з інвентаризації ваших даних, а потім пробуєте відомі класи моделей, щоб спробувати наблизитися до системи. По суті, ви створюєте грубі нариси системи, щоб побачити, що виглядає найкраще. Ви не очікуєте, що все буде пасувати дуже добре, і є деякий пробний період, коли ви тестуєте різні гіпотези про те, як працює система, але з деякою витонченістю ви можете досить добре захопити дані.

Коли я моделював нейропластичність у мозку, я почав з звичайного підходу, намалювавши всі молекулярні шляхи, стани переходу та динаміку, які, як я думав, мали значення. Але я виявив, що коли я зменшив систему до її найбільш базових компонентів і розташував ці компоненти певним чином, модель стала все більш точною, поки не пасувала даним майже ідеально. Це було схоже на те, що кожний оператор і змінна в рівняннях були саме тим, що їм потрібно було бути, нічого зайвого не було, і все було необхідним для пасування даних.

Коли я підключив модель до великих і великих симуляцій, наприклад розвитку зорової системи або розпізнавання облич, вона змогла утворити дуже складні закономірності зв’язку, які збігалися з тим, що ми бачимо в мозку. Через те, що модель була математичною, ці закономірності мозку можна було зрозуміти через математічний аналіз, що давало нове розуміння того, що мозок вивчає. З тих пір ми розв’язали та спростили диференціальні рівняння, які складають модель, покращивши обчислювальну ефективність на кілька порядків. Це може не бути справжньою поезією, але воно точно відчувалося так!

Платформа інструментів Quorum AI дозволяє пристроям з’єднуватися один з одним, щоб навчатися та обмінюватися даними без необхідності спілкування через хмарні сервери. Які переваги цього підходу порівняно з використанням хмари?

Ми даємо користувачам можливість розмістити свій штучний інтелект будь-де, де вони хочуть, не поступаючись функціональністю штучного інтелекту. Статус-кво у розробці штучного інтелекту полягає в тому, що компанії зазвичай змушені компрометувати безпеку, приватність або функціональність, оскільки їхній єдиний варіант – використання хмарних послуг штучного інтелекту. Якщо компанії спробують побудувати свій власний штучний інтелект всередині, це часто вимагає багато грошей і часу, і ROI рідко виправдовує ризик. Якщо компанії хочуть розгорнути штучний інтелект на окремі пристрої, які не підключені до хмари, проект швидко стає неможливим. Як результат, прийняття штучного інтелекту стає фантазією.

Наша платформа робить штучний інтелект доступним і доступним, даючи компаніям можливість досліджувати розвиток штучного інтелекту та його прийняття без технічного чи фінансового навантаження. І ще більше, наша платформа дозволяє користувачам перейти від розробки до розгортання в одному безперервному кроку.

Наша платформа також інтегрується з і розширює термін служби інших “застарілих” моделей, таких як глибоке навчання або навчання з підкріпленням, допомагаючи компаніям перепрофільовувати та інтегрувати існуючі системи в нові застосування. Аналогічно, через те, що наші алгоритми та архітектури унікальні, наші моделі не є чорними скриньками, тому все, що система вивчає, може бути досліджено та інтерпретовано людьми, а потім розширено на інші області бізнесу.

Деякі вважають, що розподілений штучний інтелект (DAI) міг би привести шлях до штучного загального інтелекту (AGI). Чи підтримуєте ви цю теорію?

Так, і не тільки тому, що це шлях, яким ми вирушили! Коли ви дивитесь на мозок, він не є монолітною системою. Це складається з окремих, розподілених систем, кожна з яких спеціалізується на вузькому діапазоні функцій мозку. Ми можемо не знати, що робить певна система, але ми знаємо, що її рішення залежать значно від типу інформації, яку вона отримує, і того, як ця інформація змінюється з часом. (Це чому теми нейробіології, такі як конектом, так популярні.)

На мою думку, якщо ми хочемо побудувати штучний інтелект, який є гнучким і який поводиться та працює як мозок, то має сенс розглянути розподілені архітектури, подібні до тих, які ми бачимо в мозку. Хтось міг би сказати, що архітектури глибокого навчання, такі як багаторівневі мережі або CNN, можна знайти в мозку, і це правда, але ці архітектури засновані на тому, що ми знали про мозок 50 років тому.

Альтернативою DAI є продовження ітерацій над монолітними, негнучкими архітектурами, які тісно пов’язані з одним простором прийняття рішень, як ті, які ми бачимо в глибокому навчанні чи навчанні з підкріпленням (або будь-якому методі супервізованого навчання, якщо бути точним). Я б сказав, що ці обмеження не просто питання налаштування параметрів або додавання шарів чи умов даних – ці питання фундаментальні для глибокого навчання та навчання з підкріпленням,至少 у тому вигляді, як ми їх визначаємо сьогодні, тому потрібні нові підходи, якщо ми хочемо продовжувати інновувати та будувати штучний інтелект завтрашнього дня.

Ви вважаєте, що досягнення AGI за допомогою DAI більш імовірне, ніж навчання з підкріпленням та/або глибоке навчання, які зараз розробляються компаніями, такими як OpenAI та DeepMind?

Так, хоча з того, про що вони блогують, я підозрюю, що OpenAI та DeepMind використовують більш розподілені архітектури, ніж вони дозволяють собі. Ми починаємо чути більше про багатосистемні завдання, такі як переносне навчання або розподілене/федеративне навчання, і, збігом, про те, як підходи глибокого навчання та навчання з підкріпленням не працюватимуть для цих завдань. Ми також починаємо чути від піонерів, таких як Йошуа Бенджіо, про те, як біологічно-інспіровані архітектури могли б закрити цю прогалину! Я працюю над біологічно-інспірованим штучним інтелектом майже 20 років, тому я відчуваю себе дуже добре щодо того, що ми вивчили в Quorum AI, і того, як ми використовуємо це для побудови того, що ми вважаємо наступним поколінням штучного інтелекту, яке подолає ці обмеження.

Чи є щось інше, що ви хотіли б поділитися про Quorum AI?

Ми будемо попередньо демонструвати нашу нову платформу для розподіленого та агентного штучного інтелекту на Конференції з федеративного та розподіленого машинного навчання в червні 2020 року. Під час доповіді я планую представити деякі недавні дані з кількох тем, включаючи аналіз настрою як міст до досягнення емпатичного штучного інтелекту.

Я хотів би висловити особливу подяку Ною за ці чудові відповіді, і я б порекомендував відвідати Quorum, щоб дізнатися більше.