AR, XR та мозкові інтерфейси

Кріс Еймоне, співзасновник і головний технічний директор Muse – Серія інтерв’ю

mm
Додайте Unite.AI до бажаних джерел у Google

Кріс Еймоне став співзасновником Muse з етосом створення технологій, які розширюють нашу перспективу щодо себе і світу навколо нас.

Художник і винахідник у душі, творча і дизайнерська практика Кріса охоплювала багато галузей, включаючи архітектуру, доповнену реальність, комп’ютерний зір, музику та робототехніку. Щоб створити інноваційні нові досвіди, Кріс побудував інсталяції для Центру науки Онтаріо та внесли свій внесок у великі технологічні художні проекти, представлені по всьому світу (включаючи Burning Man).

Чи можете ви поділитися з нами, як ваша любов до робототехніки та інтерфейсів “мозок-машина” (BMI) почалася?

Коли я був дуже молодим, замість того, щоб гратися з популярними ігрушками для дітей, я цікавився інструментами – так сильно, що моя улюблена книга була фактично каталогом інструментів (у 18 місяців) і я хотів швейну машину на Різдво, коли мені було 3.

Мене цікавило, що можуть зробити інструменти – як вони можуть розширити мій зріст у неможливе, і моя любов до робототехніки та BMI була просто продовженням цього. Мене цікавило, що лежить трохи за межами можливостей мого тіла, трохи за межами діапазону моїх відчуттів. Це має багато сенсу певним чином, оскільки я вважаю, що люди люблять роз’яснювати речі, чи то через наші відчуття, чи через застосування наших знань та інструментів разом, щоб дослідити та зрозуміти наші переживання.

Я не почав будувати роботів чи BMI до пізнішого часу, я майже впевнений, що це було просто питання доступу. Комп’ютери не були такими доступними (або доступними) у 80-х роках. Я навчився програмувати на Commodore 64, але я не хотів, щоб мої творіння жили тільки на комп’ютері. Я навчився підключати речі до паралельного порту, але це було розчарувально і нудно. Не було Ардуїно, не було малини, не було доставки наступного дня з Digikey.

Найкрутіше, що я побудував тоді, була маска з деякими комп’ютерними контрольованими мигаючими вогнями, які я міг пульсувати в мої очі на різних частотах. Я помітив, що моє сприйняття стало трохи дивним, дивлячись на мерехтливі світлодіоди під час моїх досліджень, тому мене цікавило, що станеться, якщо я вплину на все своє зір тим же способом. Чітко я мав латентний інтерес до свідомості та інтерфейсу “мозок-машина”. Мене дійсно цікаво, що б я побудував, якби я мав доступ до Muse або інших хакованих технологій сьогодні!

 

Які були деякі з перших роботів, над якими ви працювали?

Я побудував дуже крутий робот, який міг лазити по стінах, з кількома друзями. У нього були чотири вакуумні чашки для рук і великий вакуумний живіт. Єдина мета, яку ми могли придумати для нього, була автономне очищення вікон. Це був супер веселий проект, який став можливим завдяки доброті виробників автоматизації, які подарували нам деталі, коли ми холодно зателефонували їм з дивною ідеєю… але це дійсно працювало! Проект також навчив нас багато про електромагнітні перешкоди та міцність гіпсокартону в будинку.

Після цього я побудував робот, який малював, одного літа, який малював на величезній стіні 6х8 футів, використовуючи кисть, прикріплену до мутантного принтера Commodore 64. Це була потвора, яка використовувала кожен біт технологічного сміття, яке я міг знайти, включаючи балон для барбекю, комп’ютерні миші та мої старі роликові ковзани. У нього був веб-камера з середини 90-х років і намагався намалювати те, що він бачив. Це було так нелепо… я все ще сумую за його терпеливою, гумористичною особистістю.

Коли я робив свій магістрат, я побудував подібного фантастичного робота з кількома друзями, який був розміром з будинок. Нас цікавило, що станеться, якщо будівля змінить форму та особистість у відповідь на людей, які були в ньому. Це було супер круто… і будівля відчувалася живою! Вона рухалася і робила шум. Ви стали так свідомі себе, це було схоже на те, що ви були в порожньому соборі.

 

Більше десяти років ви фактично стали кіборгом. Чи можете ви поділитися історією про те, як це почалося?

До того, як я закінчив свій університетський ступінь, комп’ютери стали досить потужними. Я міг дозволити собі комп’ютер, який міг обробляти просту обробку відео з 15 кадрами в секунду, Linux був майже встановлений неініційованим. Мене цікавили пам’ять і швидкість комп’ютерів, і це привело мене до питання: Що, якщо в мене були подібні можливості?

Я зустрів цього професора в Університеті Торонто на ім’я Стів Манн, який був диким винахідником, і все ще є членом консультативної ради InteraXon сьогодні. Він ходив з комп’ютером на голові та надсилав лазерні зображення в свої очі. Це було саме те, що мені потрібно! Якщо ви любите інструменти, що кращого можна зробити, ніж украсити себе ними?

Стів і я почали працювати разом багато. Нас цікавило розширення нашого загального сприйняття. Ми працювали багато з комп’ютерним зором і побудували дуже ранні пристрої доповненої реальності. У багатьох відношеннях вони все ще дивують мене більше, ніж доповнена реальність, доступна сьогодні. Стів винайшов спосіб створення ідеальної оптичної відповідності між комп’ютерною графікою та вашим природним поглядом на світ. Це дозволило нам робити красиві речі, такі як плавне злиття інформації з далекої інфрачервоної камери в ваше зір. Ходити та бачити тепло насправді дуже цікаво.

 

Ви скоротили свої амбіції кіборга, оскільки це призвело до того, що ви віддалилися від інших. Чи можете ви поділитися деякими деталями про цей перехід у вашому мисленні?

Я уявляв собі глибоку та безшовну інтеграцію з комп’ютерною технологією: інформація завжди доступна, миттєва комунікація, помічники штучного інтелекту та розширені сенсорні можливості. Я дійсно вірив у те, що технологія завжди повинна бути там, щоб я міг її використовувати, коли це потрібно.

Все змінилося для мене, коли я почав транслювати зображення на веб-сайт. Місцева телекомунікаційна компанія подарувала нам багато мобільних телефонів з послідовними даними з’єднання до нашої лабораторії в університеті. Ми могли повільно завантажувати зображення, приблизно одне кожні кілька секунд на низькій чіткості. Ми почали виклик, щоб побачити, хто міг транслювати найбільше. Це був супер цікавий експеримент. Я носив комп’ютери місяцями, транслюючи моє життя в Інтернет, роблячи все, щоб опублікувати кожні кілька секунд, коли я робив щось цікаве – живучи моє життя через камеру.

Правда в тому, що це було цікаво відчувати, що я не одинок, публікуючи в уявлену аудиторію. Звучить знайомо? Ми всі отримали смак сучасних соціальних медіа, 20 років тому. І що я дізнався?

Бути застряглим у комп’ютері, намагаючись зв’язатися з іншими, транслюючи віртуальне життя, утримувало мене від того, щоб бути присутнім з іншими… і я знайшов себе відчуваючим ще більш самотнім. Вау.

Я ходив з постійним інформаційним перевантаженням з комп’ютерним терміналом перед моєю обличчям, сигналізуючи будь-який час, коли надходила електронна пошта, і коли зображення було завантажено, текстовий веб-браузер відкривався з чимось, над чим я nghiênував – це було багато.

Хоча мене цікавили комп’ютери, які допомагають мені розв’язувати проблеми, я почав відчувати менше свободи думки. Я відчував себе постійно перерваним, будучи спровокованим тим, що бульбулькав у кіберпросторі. Я відкрив для себе виклик утримання зв’язку з тим, ким ви є, і втрату здатності налаштуватися на вашу искру творчості, коли ви завжди в стані інформаційного перевантаження.

Мене цікавили технології, які робили мене відчувати себе розширеним, творчим і вільним, але якимось чином я сам себе зафарбував у кут з багатьма протилежними речами.

 

Ви зробили дуже цікавий соціальний експеримент, де користувачі по всій Канаді могли контролювати світло на вежі CN і Ніагарському водоспаді своїм розумом, використовуючи свій розум. Чи можете ви описати це?

Це була спеціальна можливість, яку ми мали на початку нашої подорожі з Muse на зимових Олімпійських іграх 2010 року, у рамках зусиль по зв’язку різних частин Канади з глобальною подією.

Хоча це ще не зрозуміло, ми знаємо, що наші мозкові хвилі синхронізуються цікавими способами, особливо коли ми робимо речі в тісному зв’язку, наприклад, спілкуємося один з одним, коли танцюємо або робимо музику. Що відбувається, коли ви проєктуєте мозкову активність окремої особи таким чином, щоб її можна було пережити багатьма?

Ми створили досвід, у якому люди, які відвідували ігри на західному узбережжі Канади, могли вплинути на досвід тисяч людей, 3000 миль віддалі. Використовуючи пристрій, який чує мозок, учасники підключили свою свідомість до величезної реальної світлової інсталяції, яка освітлювала Ніагарський водоспад, центральну частину Торонто через вежу CN, і канадські парламентські будівлі в Оттаві.

Ви сиділи перед величезним екраном з реальним видом світлових інсталяцій, щоб ви могли побачити живий ефект вашого розуму в цьому більш ніж життєвому досвіді. Люди телефонували друзям у Торонто і просили їх дивитися, як узори діяльності в їхньому мозку освітлювали місто драматичною грою світла.

 

Ви описали Muse як “щасливий випадок”. Чи можете ви поділитися деталями про цей щасливий випадок і те, що ви дізналися з цього досвіду?

Я часто забуваю про красу досліджень, оскільки будівництво технологій може бути дуже нудним. Вам потрібно стати жорстким, але так багато великого відбувається, коли ви можете розібрати патч-корди, підключити багато випадкових речей разом і просто побачити, що відбувається… як і те, як було створено Muse!

Перше зерно Muse було посіяно, коли ми написали код для підключення до старої медичної системи ЕЕГ і передачі даних через мережу. Нам потрібно було знайти комп’ютерний корпус, який підтримував карти ISA, і ми зробили саморобний головний убір. Нас цікавило отримання даних ЕЕГ, які живлять наші носимі комп’ютери. Чи могли б ми автоматично завантажувати зображення, коли ми бачили щось цікаве? Ми чули, що коли ви закриваєте очі, ваші альфа-мозкові хвилі стають більші… чи це міг бути спосіб, яким ми відчуваємо, чи цікавимося тим, що бачимо?

Ми зібрали разом деякий сигнальний аналіз з базовим аналізом Фур’є та підключили результат до простої графіки, яка була схожа на один з тих вертикальних регуляторів освітлення. Проста ідея, але це була досить елегантна установка. Що відбулося далі було супер цікавим. Ми по черзі носили пристрій, закривали та відкривали очі. Так і сталося, що регулятор піднімався та опускався, але він блукав у цікавих способах. Коли ми закривали очі, він піднімався, але не зовсім, і все ще блукав… Що відбувалося?

Ми провели години, граючи з ним, намагаючись зрозуміти, що робило його блукати, і чи могли б ми його контролювати. Ми підключили вивід до чутного звуку, щоб ми могли чути, як він піднімався та опускався, коли у нас були закриті очі. Я пам’ятаю, як сидів там годинами, очі закриті, досліджуючи мою свідомість і звук.

Я скоро виявив, що можу фокусувати мою свідомість різними способами, змінюючи звук, але також змінюючи мій досвід, мій погляд і те, як я відчував себе. Ми запросили інших людей до лабораторії, і те саме відбулося з ними. Вони закривали очі та входили у глибоке внутрішнє дослідження (звучить трохи як медитація, не так ли?!). Це було дико – ми зовсім забули про нашу первісну ідею, оскільки це було набагато цікавіше. Це був щасливий випадок – я можу сказати, що відкрив медитацію та свідомість через технології, випадково!

 

Чи можете ви пояснити деяку технологію, яка дозволяє Muse виявляти мозкові хвилі?

Мозок має мільярди нейронів, і кожен окремий нейрон з’єднується (в середньому) з тисячами інших. Комунікація відбувається між ними через маленькі електричні струми, які проходять вздовж нейронів та величезних мереж мозкових контурів. Коли всі ці нейрони активуються, вони виробляють електричні імпульси – візуалізуйте хвилю, яка проходить через натовп на спортивному стадіоні – ця синхронізована електрична активність призводить до “мозкової хвилі”.

Коли багато нейронів взаємодіють цим чином одночасно, ця активність досить сильна, щоб бути виявленою навіть поза мозком. Розміщення електродів на шкірі голови дозволяє цю активність посилювати, аналізувати та візуалізувати. Це електроенцефалографія, або ЕЕГ – складне слово, яке просто означає електричний мозковий граф. (Encephalon, мозок, походить від старогрецького “enképhalos”, що означає “в голові”.)

Muse був протестований і валідований проти систем ЕЕГ, які експоненціально дорожчі, і він використовується нейробіологами по всьому світу в реальних наукових дослідженнях як всередині, так і поза лабораторією. Використовуючи 7 тонко налаштованих сенсорів – 2 на лобі, 2 позаду вух плюс 3 сенсори-референси – Muse є наступним поколінням, сучасною системою ЕЕГ, яка використовує передові алгоритми для навчання початківців і середніх медитаторів контролювати свій фокус. Вона вчить користувачів, як маніпулювати своїми станами мозку та змінювати характеристики свого мозку.

Технологія алгоритму Muse складніша, ніж традиційна нейрозворотня зв’язь. Створивши додаток Muse, ми почали з цих мозкових хвиль, а потім провели роки інтенсивних досліджень вищого порядку комбінацій первинних, вторинних і третинних характеристик сирого даних ЕЕГ і того, як вони взаємодіють з медитацією, сфокусованою на увазі.

 

Які деякі помітні медитативні або психічні покращення, яких ви особисто помітили від використання Muse?

Моя увага стала більш рухливою, і вона сильніша. Це звучить просто, але я знаю, як розслабитися. Я краще розумію свої емоції та більш налаштований на інших. Це дійсно життєво змінює.

 

Поза людьми, які медитують, які інші сегменти населення є активними користувачами Muse?

Є багато біохакерів і вчених – деякі з яких зробили дійсно круті речі. Проф. Кріголсон з Університету Вікторії використовував Muse в марсіанському середовищі, і він зробив експерименти на горі Еверест з монахами, які живуть у монастирях на горі. Там також є деякі круті люди в медіа-лабораторії MIT, які використовують Muse під час сну, щоб впливати на сни. Так круто.

 

Чи є щось ще, що ви хотіли б поділитися про Muse?

Вхід у світ сну з нашим останнім випуском продукту Muse S був нескінченно цікавим з точки зору продукту та досліджень, і дуже цікавим, коли справа стосується позитивних застосувань Muse для так багатьох людей, які шукають краще нічного сну.

Також мені особисто подобається, як Muse може відтворювати вашу мозкову активність як звук. З років вивчення біосигналів, щось, чого я ніколи не втомлюся, – це краса цих хвиль, які течуть всередині нас. Як і хвилі океану, вони нескінченно складні, проте прості та знайомі. Мене подобається, що ми красиві всередині, і мені подобається виклик виведення цього та святкування його як звуку та музики.

Дякую за велике інтерв’ю, я очікую отримати Muse, будь-хто, хто бажає дізнатися більше або замовити одиницю, повинен відвідати веб-сайт Muse.

Антуан є видним лідером і засновником Unite.AI, який рухається незмінною пристрастю до формування та просування майбутнього штучного інтелекту та робототехніки. Як серійний підприємець, він вважає, що штучний інтелект буде таким же революційним для суспільства, як і електрика, і часто захоплюється потенціалом революційних технологій і штучного інтелекту загального призначення.

Як футуролог, він присвячений вивченню того, як ці інновації будуть формувати наш світ. Крім того, він є засновником Securities.io, платформи, орієнтованої на інвестиції в передові технології, які переінакшують майбутнє і змінюють цілі сектори.