Ной Шварц, співзасновник і генеральний директор Quorum AI – Серія інтерв’ю

Ноа — архітектор систем ШІ. До заснування Кворум AI, Ной провів 12 років в академічних дослідженнях, спочатку в Університеті Південної Каліфорнії, а останнім часом у Північно-Західному університеті як помічник кафедри нейробіології. Його робота була зосереджена на обробці інформації в мозку, і він перевів свої дослідження на продукти доповненої реальності, інтерфейси мозок-комп’ютер, комп’ютерне зір і вбудовані роботизовані системи керування.

Ваш інтерес до ШІ та робототехніки почався, коли був маленьким хлопчиком. Як ви вперше познайомилися з цими технологіями?

Початкову іскру дали науково-фантастичні фільми та любов до електроніки. Я пам’ятаю, як я дивився фільм «Трон» у 8-річному віці, а потім у наступні кілька років — «Електричні мрії», «Коротке замикання», «Дерил», «Військові ігри» та інші. Хоча це було представлено через художню літературу, сама ідея штучного інтелекту мене вразила. І хоча мені було всього 8 років, я відразу відчув цей зв’язок і сильний потяг до штучного інтелекту, який з тих пір не зменшувався.

Як розвивалися ваші пристрасті до обох?

Мій інтерес до ШІ та робототехніки розвивався паралельно із захопленням мозком. Мій тато був учителем біології і навчав мене про тіло, про те, як усе працює та як усе це пов’язано. Дивлячись на штучний інтелект і мозок, я відчував ту саму проблему – або, принаймні, у них було те саме головне запитання: як це працює? Мене цікавило і те, і інше, але в школі я мало знайомився зі ШІ чи робототехнікою. З цієї причини я спочатку займався штучним інтелектом у свій вільний час і вивчав біологію та психологію в школі.

Коли я вступив до коледжу, я виявив Книги з паралельної розподіленої обробки (PDP)., що було величезним для мене. Вони були моїм першим знайомством із справжнім штучним інтелектом, який потім повернув мене до класики, як-от Хебб, Розенблат, І навіть Маккалох і Піттс. Я почав будувати нейронні мережі на основі нейроанатомії та того, чого навчився на уроках біології та психології в школі. Після закінчення навчання я працював інженером комп’ютерних мереж, створював складні глобальні мережі та писав програмне забезпечення для автоматизації та керування потоком трафіку в цих мережах – ніби будуючи великі мізки. Ця робота відновила мою пристрасть до штучного інтелекту та спонукала мене піти до аспірантури, щоб вивчати штучний інтелект та нейронауку, а решта вже історія.

До заснування Quorum AI ви 12 років займалися академічними дослідженнями, спочатку в Університеті Південної Каліфорнії, а останнім часом у Північно-Західному університеті як помічник кафедри нейробіології. У той час ваша робота була зосереджена на обробці інформації в мозку. Не могли б ви провести з нами деякі з цих досліджень?

У широкому сенсі моє дослідження намагалося зрозуміти питання: як мозок робить те, що він робить використовувати лише те, що є в наявності? По-перше, я не погоджуюся з ідеєю, що мозок — це різновид комп’ютера (у розумінні фон Неймана). Я бачу це як масивну мережу, яка здебільшого виконує операції стимул-реакція та кодування сигналу. У цій масивній мережі існують чіткі схеми зв’язку між функціонально спеціалізованими областями. Збільшуючи масштаб, ми бачимо, що нейронам байдуже, який сигнал вони передають або в якій частині мозку вони знаходяться – вони діють на основі дуже передбачуваних правил. Отже, якщо ми хочемо зрозуміти функцію цих спеціалізованих областей, нам потрібно поставити кілька запитань: (1) Коли вхідні дані проходять через мережу, як ці вхідні дані конвергують з іншими вхідними даними для прийняття рішення? (2) Як структура цих спеціалізованих областей формується в результаті досвіду? І (3) як вони продовжують змінюватися, коли ми використовуємо свій мозок і навчаємося з часом? Моє дослідження намагалося відповісти на ці питання, використовуючи суміш експериментальних досліджень у поєднанні з теорією інформації, моделюванням і симуляцією – те, що могло б дати нам змогу створювати штучні системи прийняття рішень та ШІ. З точки зору нейробіології, я вивчав нейропластичність і мікроанатомію спеціальних областей, таких як зорова кора.

Потім ви перевели свою роботу в доповнену реальність та інтерфейси мозок-комп’ютер. Над якими продуктами ви працювали?

Приблизно в 2008 році я працював над проектом, який ми тепер називали б доповненою реальністю, але тоді це була лише система для відстеження та передбачення рухів очей, а потім використання цих передбачень для оновлення чогось на екрані. Щоб система працювала в режимі реального часу, я створив біологічну модель, яка передбачала, куди потрапить глядач, на основі його мікросакад – крихітних рухів очей, які відбуваються безпосередньо перед тим, як ви рухаєте оком. Використовуючи цю модель, я міг передбачити, куди дивитиметься глядач, а потім оновити буфер кадрів у графічній карті, поки їхні очі все ще рухаються. До того часу, коли їхні очі досягли нового місця на екрані, зображення вже було оновлено. Це працювало на звичайному настільному комп’ютері у 2008 році без будь-яких затримок. Технологія була досить дивовижною, але проект не пройшов до наступного раунду фінансування, тому він загинув.

У 2011 році я зосередив зусилля на розробці продукту та побудував нейронну мережу, яка могла виявляти функції на потокових даних ЕЕГ, які ми вимірювали на шкірі голови. Це основна функція більшості систем інтерфейсу мозок-комп’ютер. Проект також був експериментальним на якому малому місці ми можемо це запустити? У нас була гарнітура, яка зчитувала кілька каналів даних ЕЕГ на частоті 400 Гц, які надсилалися через Bluetooth на телефон Android для виявлення функцій і класифікації, а потім надсилалися на контролер на базі Arduino, який ми модернізували в готову машину з дистанційним керуванням. Під час використання людина, яка носила гарнітуру ЕЕГ, могла керувати автомобілем і керувати ним, змінюючи свої думки з виконання математики в розумі на спів пісні. Алгоритм працював на телефоні та створював персоналізований «відбиток пальця» мозку для кожного користувача, дозволяючи їм перемикатися між різними роботами без необхідності перенавчатися на кожному пристрої. Слоган, який ми придумали, був «Контроль над мозком зустрічається з Plug-and-Play».

У 2012 році ми розширили систему, щоб вона працювала набагато більш розподілено на меншому обладнанні. Ми використовували його для керування багатосегментною робототехнічною рукою з кількома суглобами, у якій кожний сегмент контролювався незалежним процесором, який запускав вбудовану версію штучного інтелекту. Замість того, щоб використовувати централізований контролер для маніпулювання рукою, ми дозволили сегментам самоорганізуватися та досягти своєї мети розподіленим способом, схожим на рій. Іншими словами, як мурахи, що утворюють мурашиний міст, сегменти рук співпрацюватимуть, щоб досягти певної цілі в космосі.

Ми продовжували рухатися в цьому ж напрямку, коли вперше запустили Quorum AI — спочатку відомий як Quorum Robotics — ще в 2013 році. Ми швидко зрозуміли, що система чудова завдяки алгоритму й архітектурі, а не апаратному забезпеченню, тож наприкінці 2014 року ми змінили повністю в програмне забезпечення. Тепер, через 8 років, Quorum AI повертається до коренів робототехніки, застосовуючи нашу структуру до NASA Space Robotics Challenge.

Звільнитися з роботи професора, щоб почати стартап, мало бути важким рішенням. Що вас надихнуло на це?

Для мене це був величезний стрибок у багатьох відношеннях, але як тільки з’явилася можливість і шлях став ясним, це було легким рішенням. Коли ви професор, ви думаєте про багаторічні часові рамки та працюєте над довгостроковими дослідницькими цілями. Запуск стартапу – це повна протилежність цьому. Однак академічне життя та стартап-життя мають спільне те, що обидва вимагають постійного навчання та вирішення проблем. У стартапі це може означати спробу переробити рішення, щоб зменшити ризик розробки продукту, або, можливо, вивчення нової галузі, яка могла б отримати користь від наших технологій. Робота в галузі штучного інтелекту – це найкраще «покликання», яке я коли-небудь відчував, тому, незважаючи на всі виклики, злети та падіння, я почуваюся надзвичайно щасливим, що виконую роботу, яку виконую.

Відтоді ви розробили Quorum AI, який розробляє розподілений штучний інтелект у реальному часі для всіх пристроїв і платформ. Чи могли б ви детальніше розповісти, що саме робить ця платформа ШІ?

Платформа називається середовищем для віртуальних агентів (EVA), і вона дає змогу користувачам створювати, навчати та розгортати моделі за допомогою нашої системи штучного інтелекту Engram. Engram — це гнучка та портативна оболонка, яку ми створили навколо наших алгоритмів неконтрольованого навчання. Алгоритми настільки ефективні, що можуть навчатися в реальному часі, оскільки модель генерує прогнози. Оскільки алгоритми не залежать від завдань, немає явних вхідних чи вихідних даних для моделі, тому передбачення можна робити байєсівським способом для будь-якого виміру без перенавчання та без страждань від катастрофічного забування. Моделі також прозорі та розкладаються, тобто їх можна досліджувати та розбивати на окремі розміри, не втрачаючи того, що було вивчено.

Після створення моделі можна розгортати через EVA на будь-якій платформі, починаючи від спеціального вбудованого обладнання або закінчуючи хмарою. EVA (і вбудоване програмне забезпечення) також містять кілька інструментів для розширення функціональності кожної моделі. Кілька коротких прикладів: моделями можна ділитися між системами через систему публікації/підписки, що дозволяє розподіленим системам досягати об’єднаного навчання як у часі, так і в просторі. Моделі також можуть бути розгорнуті як автономні агенти для виконання довільних завдань, і оскільки модель не залежить від завдань, завдання можна змінити під час виконання без повторного навчання. Кожен окремий агент може бути розширений за допомогою приватної «віртуальної» EVA, що дозволяє агенту симулювати моделі інших агентів у безмасштабний спосіб. Нарешті, ми створили деякі оболонки для систем глибокого навчання та навчання з підкріпленням (на основі Keras), щоб ці моделі могли працювати на платформі разом із більш гнучкими системами на основі Engram.

Раніше ви описали алгоритми Quorum AI як «математичну поезію». Що ви цим мали на увазі?

Коли ви створюєте модель, незалежно від того, моделюєте ви мозок чи дані про продажі для свого підприємства, ви починаєте з інвентаризації своїх даних, а потім випробовуєте відомі класи моделей, щоб спробувати наблизити систему . По суті, ви створюєте приблизні ескізи системи, щоб побачити, що виглядає найкраще. Ви не очікуєте, що дані будуть дуже добре підходити до даних, і є деякі спроби та помилки, коли ви перевіряєте різні гіпотези про те, як працює система, але з певною тонкістю ви можете отримувати дані досить добре.

Коли я моделював нейропластичність у мозку, я почав із звичайного підходу до картографування всіх молекулярних шляхів, перехідних станів і динаміки, які, на мою думку, мали значення. Але я виявив це, коли я знижений систему до її найпростіших компонентів і розташувавши ці компоненти певним чином, модель ставала дедалі точнішою, доки майже ідеально не відповідала даним. Здавалося, що кожен оператор і змінна в рівняннях були саме такими, якими вони мали бути, не було нічого зайвого, і все було необхідним для підгонки даних.

Коли я підключив модель до все більших симуляцій, наприклад, розвитку візуальної системи чи розпізнавання обличчя, вона змогла сформувати надзвичайно складні шаблони підключення, які відповідали тому, що ми бачимо в мозку. Оскільки модель була математичною, ці моделі мозку можна було зрозуміти за допомогою математичного аналізу, що дало нове розуміння того, чому навчається мозок. Відтоді ми розв’язали та спростили диференціальні рівняння, які складають модель, підвищивши ефективність обчислень на кілька порядків. Можливо, це не справжня поезія, але вона точно відчувається!

Набір інструментів платформи Quorum AI дозволяє пристроям підключатися один до одного, щоб вивчати та обмінюватися даними без необхідності спілкуватися через хмарні сервери. Які переваги цього способу порівняно з використанням хмари?

Ми надаємо користувачам можливість розміщувати свій штучний інтелект у будь-якому місці без шкоди для функціональності штучного інтелекту. Статус-кво в розробці штучного інтелекту полягає в тому, що компанії зазвичай змушені йти на компроміс із безпекою, конфіденційністю чи функціональністю, оскільки їхній єдиний вихід — використовувати хмарні сервіси штучного інтелекту. Якщо компанії все-таки намагаються створити власний штучний інтелект всередині компанії, це часто вимагає багато грошей і часу, а рентабельність інвестицій рідко виправдовує ризик. Якщо компанії хочуть розгорнути ШІ на окремих пристроях, які не підключені до хмари, проект швидко стає неможливим. У результаті впровадження ШІ стає фантазією.

Наша платформа робить штучний інтелект доступним і доступним, надаючи компаніям можливість досліджувати розробку та впровадження штучного інтелекту без технічних або фінансових витрат. Крім того, наша платформа дозволяє користувачам переходити від розробки до розгортання за один крок.

Наша платформа також інтегрується з іншими «застарілими» моделями, такими як глибоке навчання або навчання з підкріпленням, і продовжує термін їх зберігання, допомагаючи компаніям перепрофілювати та інтегрувати існуючі системи в нові програми. Так само, оскільки наші алгоритми та архітектури унікальні, наші моделі не є чорними скриньками, тому все, що дізнається система, може бути досліджено та інтерпретовано людьми, а потім поширене на інші сфери бізнесу.

Деякі вважають, що розподілений штучний інтелект (DAI) може прокласти шлях до загального штучного інтелекту (AGI). Ви підтримуєте цю теорію?

Я так, і не тільки тому, що це шлях, який ми собі поставили! Коли ви дивитеся на мозок, це не монолітна система. Він складається з окремих розподілених систем, кожна з яких спеціалізується на вузькому діапазоні функцій мозку. Ми можемо не знати, що робить певна система, але знаємо, що її рішення значною мірою залежать від типу інформації, яку вона отримує, і того, як ця інформація змінюється з часом. (Ось чому такі теми нейронаук, як коннектоме такі популярні.)

На мій погляд, якщо ми хочемо побудувати гнучкий штучний інтелект, який поводиться та працює як мозок, тоді має сенс розглянути розподілені архітектури, такі як ті, які ми бачимо в мозку. Можна стверджувати, що архітектури глибокого навчання, такі як багаторівневі мережі або CNN, можна знайти в мозку, і це правда, але ці архітектури базуються на тому, що ми знали про мозок. 50 років тому.

Альтернативою DAI є продовження повторення монолітних, негнучких архітектур, які тісно пов’язані з єдиним простором прийняття рішень, як ті, які ми бачимо в глибокому навчанні або навчанні з підкріпленням (або будь-якому контрольованому методі навчання, якщо на те пішло). Я б припустив, що ці обмеження стосуються не лише налаштування параметрів, додавання шарів чи кондиціонування даних – ці проблеми є основоположними для глибокого навчання та навчання з підкріпленням, принаймні, як ми їх визначаємо сьогодні, тому, якщо ми збираємося, потрібні нові підходи. продовжувати впроваджувати інновації та створювати ШІ майбутнього.

Чи вважаєте ви, що досягнення AGI за допомогою DAI більш імовірне, ніж навчання з підкріпленням та/або методи глибокого навчання, які зараз застосовують такі компанії, як OpenAI і DeepMind?

Так, хоча, судячи з того, про що вони пишуть у блогах, я підозрюю, що OpenAI і DeepMind використовують більше розподілених архітектур, ніж вони кажуть. Ми починаємо більше чути про багатосистемні виклики, такі як трансферне навчання або федеративне/розподілене навчання, і випадково про те, що підходи до глибокого навчання та навчання з підкріпленням не працюватимуть для вирішення цих проблем. Ми також починаємо чути від таких піонерів, як Йошуа Бенгіо, про те, як біологічно натхненна архітектура може подолати розрив! Я працюю над біологічним штучним інтелектом майже 20 років, тому мені дуже подобається те, чого ми навчилися в Quorum AI і як ми використовуємо це для створення того, що, на нашу думку, є наступним поколінням ШІ, яке подолає ці обмеження.

Чи є ще щось, чим ви хотіли б поділитися про Quorum AI?

Ми попередньо ознайомимося з нашою новою платформою для розподіленого та агентного штучного інтелекту на конференції Federated and Distributed Machine Learning Conference у червні 2020 року. Під час розмови я планую представити деякі нещодавні дані з кількох тем, зокрема про аналіз настроїв як мосту до досягнення емпатії. ШІ.

Я хотів би особливо подякувати Ноа за ці дивовижні відповіді, і я б рекомендував вам відвідати Кворум щоб дізнатися більше.