Ной Шварц, співзасновник та CEO Quorum AI – Інтерв’ю Серія

Ной – архітектор систем штучного інтелекту. До заснування Quorum AI Ной провів 12 років у наукових дослідженнях, спочатку в Університеті Південної Каліфорнії, а пізніше в Північно-Західному університеті як помічник голови кафедри нейробіології. Його робота була зосереджена на обробці інформації в мозку, і він перетворив свої дослідження у продукти в області доповненої реальності, інтерфейсів “мозок-комп’ютер”, комп’ютерного зору та вбудованих систем керування роботами.

Ваш інтерес до штучного інтелекту та робототехніки почався, коли ви були маленьким хлопчиком. Як ви вперше познайомилися з цими технологіями?

Перший спалах інтересу виник з науково-фантастичних фільмів та любові до електроніки. Я пам’ятаю, як дивився фільм “Трон” у віці 8 років, а потім “Електричні мрії”, “Коротке замикання”, “DARYL”, “Військові ігри” та інші протягом наступних кількох років. Хоча це було представлено через художню літературу, ідея штучного інтелекту вразила мене. І хоча мені було тільки 8 років, я відчув миттєву зв’язок і сильний потяг до штучного інтелекту, який не зменшувався з часом.

Як ваші пристрасті до штучного інтелекту та робототехніки розвивалися?

Мій інтерес до штучного інтелекту та робототехніки розвивався паралельно з пристрастю до мозку. Мій батько був учителем біології і розповідав мені про тіло, як все працює, і як все пов’язано. Подивитися на штучний інтелект і подивитися на мозок здавалося мені однією і тією ж проблемою – або хоча б, вони мали одну і ту ж кінцеву мету, яка полягала в тому, щоб зрозуміти, як це працює? Мене цікавили обидві речі, але я не мав багато можливостей познайомитися зі штучним інтелектом чи робототехнікою в школі. Через це я спочатку займався штучним інтелектом у вільний час і вивчав біологію та психологію в школі.

Коли я вступив до університету, я відкрив для себе книги про розподілену обробку інформації (PDP), які стали величезним відкриттям для мене. Це були мої перші кроки у світі штучного інтелекту, які потім привели мене до класичних праць таких вчених, як Хебб, Розенблатт і навіть Маккалох і Піттс. Я почав будувати нейронні мережі на основі нейроанатомії і того, що я вивчив з біології та психології в школі. Після закінчення університету я працював інженером комп’ютерних мереж, будуючи складні широкомісцеві мережі та писав програмне забезпечення для автоматизації та керування потоком даних на цих мережах – щось на кшталт будівництва великих мозків. Ця робота знову розгоріла мою пристрасть до штучного інтелекту і мотивувала мене вступити до аспірантури для вивчення штучного інтелекту та нейробіології, і все інше – історія.

До заснування Quorum AI ви провели 12 років у наукових дослідженнях, спочатку в Університеті Південної Каліфорнії, а пізніше в Північно-Західному університеті як помічник голови кафедри нейробіології. Розкажіть про деякі з цих досліджень.

У широкому сенсі, мої дослідження були спрямовані на розуміння питання: Як мозок робить те, що він робить, використовуючи тільки те, що у нього є? Спочатку я не підтримую ідею про те, що мозок – це тип комп’ютера (у сенсі фон Неймана). Я бачу його як величезну мережу, яка переважно виконує операції стимул-відповідь та кодування сигналів. У цій величезній мережі є чіткі закономірності зв’язку між функціонально спеціалізованими областями. Коли ми звертаємо увагу на окремі нейрони, ми бачимо, що вони не турбуються про те, який сигнал вони несуть або в якій частині мозку вони знаходяться – вони працюють відповідно до дуже передбачуваних правил. Отже, якщо ми хочемо зрозуміти функцію цих спеціалізованих областей, нам потрібно поставити кілька питань: (1) Як вхідний сигнал зливається з іншими сигналами, щоб виробити рішення? (2) Як структура цих спеціалізованих областей формується в результаті досвіду? І (3) як вони продовжують змінюватися, коли ми використовуємо свій мозок і вчимося з часом? Мої дослідження намагалися відповісти на ці питання за допомогою поєднання експериментальних досліджень, теорії інформації та моделювання та симуляції – щось, що могло б дозволити нам будувати штучні системи прийняття рішень та штучний інтелект. У термінах нейробіології я вивчав нейропластичність та мікроанатомію спеціалізованих областей, таких як зоровий кортекс.

Ви потім перетворили свою роботу у доповнену реальність та інтерфейси “мозок-комп’ютер”. Розкажіть про деякі з продуктів, над якими ви працювали.

Приблизно у 2008 році я працював над проектом, який ми зараз назвали б доповненою реальністю, але тоді це була просто система для відстеження та передбачення рухів очей, а потім використання цих передбачень для оновлення чогось на екрані. Щоб зробити систему працюючою в реальному часі, я побудував біологічно-інспірований модель, який передбачав, куди гляне глядач на основі його мікросакад – малих рухів очей, які відбуваються просто перед тим, як ви рухаєте очі. Використовуючи цю модель, я міг передбачити, куди гляне глядач, а потім оновити буфер кадру в графічній карті, поки очі глядача ще рухалися. До того часу, як очі глядача досягли нового місця на екрані, зображення вже було оновлено. Це працювало на звичайному настільному комп’ютері у 2008 році, без жодної затримки. Технологія була досить чудова, але проект не пройшов до наступного раунду фінансування, тому він загинув.

У 2011 році я зробив більш зосереджений зусилля щодо розробки продукту і побудував нейронну мережу, яка могла виконувати відкриття ознак на потокових даних ЕЕГ, які ми вимірювали з поверхні голови. Це є центральна функція більшості інтерфейсів “мозок-комп’ютер”. Проект також був експериментом у як маленький слід можна було зробити це працювати? У нас був гарнітур, який читав кілька каналів даних ЕЕГ на частоті 400 Гц, які надсилалися через Bluetooth на телефон Android для відкриття ознак та класифікації, а потім надсилалися на контролер, побудований на основі Arduino, який ми вбудували в серійний роботизований автомобіль. Коли людина, яка носила гарнітур ЕЕГ, могла керувати автомобілем, змінюючи свої думки від виконання математичних розрахунків до співу пісні. Алгоритм працював на телефоні та створював персональний “відбиток мозку” для кожного користувача, дозволяючи їм перемикатися між різними роботизованими пристроями без необхідності повторної тренування. Слоган, який ми придумали, звучав як “Контроль мозком з’єднується з Plug-and-Play”.

У 2012 році ми розширили систему так, щоб вона працювала у більш розподіленому вигляді на меншому апаратному забезпеченні. Ми використали її для керування багатосегментним, багатозв’язним роботизованим руком, кожен сегмент якого контролювався незалежним процесором, який виконував вбудовану версію штучного інтелекту. Замість використання централізованого контролера для маніпулювання руком, ми дозволили сегментам самозорганізуватися та досягти цілі у розподіленому, схожому на рій, способі. Інакше кажучи, як мурахи, які формують міст мурах, сегменти руки співпрацювали, щоб досягти певної цілі в просторі.

Ми продовжили рухатися в цьому ж напрямку, коли вперше запустили Quorum AI – спочатку відомий як Quorum Robotics – у 2013 році. Ми швидко зрозуміли, що система була чудовою саме через алгоритм та архітектуру, а не апаратне забезпечення, тому наприкінці 2014 року ми повністю перейшли у сфері програмного забезпечення. Тепер, через 8 років, Quorum AI повертається до тих же коренів робототехніки, застосовуючи нашу базу до NASA Space Robotics Challenge.

Кинути роботу професора, щоб запустити стартап, повинно було бути складним рішенням. Що надихнуло вас зробити це?

Це був величезний стрибок для мене у багатьох аспектах, але як тільки з’явилася можливість і стався ясний шлях, це було легким рішенням. Коли ви професор, ви думаєте у багаторічних рамках і працюєте над довгостроковими науковими цілями. Запуск стартапу – це абсолютно протилежне цьому. Однак одна річ, яку академічне життя та життя стартапу мають спільного, полягає в тому, що обоє вимагають від вас постійного навчання та вирішення проблем. У стартапі це може означати спробу перепроектувати рішення для зменшення ризиків розробки продукту або вивчення нового напрямку, який міг би виграти від нашої технології. Робота у сфері штучного інтелекту – це найближче до “повикликання”, яке я коли-небудь відчував, тому незважаючи на всі виклики та висхідні та низхідні рухи, я відчуваю себе надзвичайно щасливим, роблячи ту роботу, яку я роблю.

Ви з тих пір розробили Quorum AI, який створює реальний, розподілений штучний інтелект для всіх пристроїв та платформ. Розкажіть про те, що саме робить ця платформа штучного інтелекту.

Платформа називається Середовище для віртуальних агентів (EVA), і вона дозволяє користувачам створювати, тренувати та розгортати моделі за допомогою нашого двигуна Engram AI. Engram – це гнучкий та портативний обгортка, який ми побудували навколо наших алгоритмів без нагляду. Алгоритми настільки ефективні, що можуть навчатися в реальному часі, коли модель генерує передбачення. Через те, що алгоритми не залежать від завдання, немає явного входу чи виходу з моделі, тому передбачення можуть бути зроблені у баєсівському стилі для будь-якої розмірності без повторної тренування та без втрати того, що було вивчено. Моделі також прозорі та розбірливі, тобто їх можна оглянути та розбити на окремі розмірності без втрати того, що було вивчено.

Як тільки моделі побудовані, їх можна розгорнути через EVA на будь-який тип платформи, від спеціального вбудованого апаратного забезпечення до хмарних рішень. EVA (та вбудоване програмне забезпечення хоста) також містять кілька інструментів для розширення функціональності кожної моделі. Наприклад, моделі можна поділитися між системами через систему публікації/підписки, що дозволяє розподіленим системам досягти федеративного навчання як у часі, так і в просторі. Моделі також можна розгорнути як автономні агенти для виконання довільних завдань, а через те, що модель не залежить від завдання, завдання можна змінити під час виконання без повторної тренування. Кожен окремий агент можна розширити приватним “віртуальним” EVA, що дозволяє агенту симулювати моделі інших агентів у безмасштабному стилі. Нарешті, ми створили деякі обгортки для систем глибокого навчання та підкріпленного навчання (на основі Keras), щоб дозволити цим моделям працювати на платформі разом з більш гнучкими системами на основі Engram.

Ви раніше описували алгоритми Quorum AI як “математичну поезію”. Що ви мали на увазі під цим?

Коли ви будуєте модель, незалежно від того, чи ви моделюєте мозок, чи ви моделюєте дані про продажі для вашого підприємства, ви починаєте з інвентаризації ваших даних, а потім пробуєте відомі класи моделей, щоб спробувати наблизитися до системи. По суті, ви створюєте грубі нариси системи, щоб побачити, що виглядає найкраще. Ви не очікуєте, що все пасуватиме дуже добре, і є деякий пробний період, коли ви тестуєте різні гіпотези про те, як працює система, але з деякою майстерністю ви можете досить добре захопити дані.

Коли я моделював нейропластичність у мозку, я починав з звичайного підходу, намагаючись змапувати всі молекулярні шляхи, стани переходу та динаміку, які, на мою думку, мали значення. Але я виявив, що коли я зменшив систему до її найбільш базових компонентів і впорядкував ці компоненти певним чином, модель стала все більш точною, аж поки не пасувала даним майже ідеально. Це було схоже на те, що кожен оператор і змінна в рівняннях були саме тим, що потрібно, нічого зайвого, і все було необхідним для пасування даних.

Коли я підключив модель до великих і великих симуляцій, таких як розвиток зорової системи або розпізнавання облич, наприклад, вона змогла сформувати дуже складні закономірності зв’язку, які відповідали тому, що ми бачимо у мозку. Через те, що модель була математичною, ці закономірності мозку можна було зрозуміти через математічний аналіз, даючи новий погляд на те, що мозок вивчає. З тих пір ми розв’язали та спрощили диференціальні рівняння, які складають модель, покращуючи обчислювальну ефективність на кілька порядків. Це може не бути справжньою поезією, але воно точно відчувалося так!

Платформа інструментів Quorum AI дозволяє пристроям з’єднуватися один з одним, щоб навчатися та обмінюватися даними без необхідності спілкування через хмарні сервери. Які переваги цього підходу порівняно з використанням хмарних серверів?

Ми даємо користувачам можливість розміщувати свій штучний інтелект будь-де, не компрометуючи функціональності штучного інтелекту. Статус-кво у розробці штучного інтелекту полягає в тому, що компанії зазвичай змушені компрометувати безпеку, приватність або функціональність, оскільки їхня єдина можливість полягає в використанні хмарних послуг штучного інтелекту. Якщо компанії намагаються побудувати свій власний штучний інтелект всередині, це часто вимагає багато грошей і часу, а ROI рідко виправдовує ризик. Якщо компанії хочуть розгорнути штучний інтелект на окремі пристрої, які не підключені до хмарних серверів, проект швидко стає неможливим. В результаті прийняття штучного інтелекту стає фантазією.

Наша платформа робить штучний інтелект доступним і дешевим, даючи компаніям можливість досліджувати розвиток штучного інтелекту та його прийняття без технічного чи фінансового навантаження. І крім того, наша платформа дозволяє користувачам перейти від розробки до розгортання в одному безперервному кроку.

Наша платформа також інтегрується з і розширює термін служби інших “застарілих” моделей, таких як глибоке навчання чи підкріплене навчання, допомагаючи компаніям перепрофільовувати та інтегрувати існуючі системи в нові застосування. Подібно, через те, що наші алгоритми та архітектури унікальні, наші моделі не є чорними скриньками, тому все, що система вивчає, можна дослідити та інтерпретувати людьми, а потім розширити на інші області бізнесу.

Дехто вважає, що розподілений штучний інтелект (DAI) може привести до штучного загального інтелекту (AGI). Чи підтримуєте ви цю теорію?

Так, і не тільки тому, що це шлях, яким ми пішли! Коли ви дивитесь на мозок, він не є монолітною системою. Це складається з окремих, розподілених систем, кожна з яких спеціалізується на вузькому діапазоні функцій мозку. Ми можемо не знати, що конкретна система робить, але ми знаємо, що її рішення залежать значною мірою від типу інформації, яку вона отримує, і того, як ця інформація змінюється з часом. (Це чому теми нейробіології, такі як конектом, так популярні.)

На мою думку, якщо ми хочемо побудувати штучний інтелект, який є гнучким і який поводиться та виконує свою функцію, як і мозок, то має сенс розглянути розподілені архітектури, подібні до тих, які ми бачимо у мозку. Хтось міг би сказати, що архітектури глибокого навчання, такі як багаторівневі мережі чи сворточні нейронні мережі, можна знайти в мозку, і це правда, але ці архітектури засновані на тому, що ми знали про мозок 50 років тому.

Альтернативою DAI є продовження ітерацій над монолітними, негнучкими архітектурами, які тісно пов’язані з одним простором прийняття рішень, як ті, які ми бачимо у глибокому навчанні чи підкріпленому навчанні (або будь-якому методі нагляду). Я б сказав, що ці обмеження не просто питання параметрів чи додавання шарів чи даних, а фундаментальні для глибокого навчання та підкріпленого навчання, принаймні такими, як ми їх визначаємо сьогодні, тому потрібні нові підходи, якщо ми хочемо продовжувати інновувати та будувати штучний інтелект майбутнього.

Ви вважаєте, що досягнення AGI за допомогою DAI більш імовірне, ніж за допомогою методів глибокого навчання та підкріпленого навчання, які зараз переслідуються компаніями, такими як OpenAI та DeepMind?

Так, хоча з того, про що вони блогують, я підозрюю, що OpenAI та DeepMind використовують більш розподілені архітектури, ніж вони допускають. Ми починаємо чути більше про багатосистемні виклики, такі як переносне навчання чи федеративне/розподільне навчання, і збігалося, про те, як підходи глибокого навчання та підкріпленого навчання не працюватимуть для цих викликів. Ми також починаємо чути від піонерів, таких як Йошуа Бенджіо, про те, як біологічно-інспіровані архітектури могли б містити розрив. Я працюю над біологічно-інспірованим штучним інтелектом майже 20 років, тому я відчуваю себе дуже добре щодо того, що ми вивчили в Quorum AI, і того, як ми використовуємо це для побудови того, що ми вважаємо наступним поколінням штучного інтелекту, яке подолає ці обмеження.

Чи є щось інше, про що ви хотіли б поділитися щодо Quorum AI?

Ми будемо демонструвати нашу нову платформу для розподіленого та агентного штучного інтелекту на конференції з федеративного та розподіленого машинного навчання в червні 2020 року. Під час доповіді я планую представити деякі недавні дані з кількох тем, включаючи аналіз настроїв як міст до досягнення емпатичного штучного інтелекту.

Я хотів би висловити особливу подяку Ною за ці чудові відповіді, і я рекомендую вам відвідати Quorum, щоб дізнатися більше.