AR, XR и нейроинтерфейсы
Крис Эймоне, сооснователь и технический директор Muse – Интервью

Крис Эймоне стал сооснователем Muse с целью создания технологий, которые расширяют наше представление о себе и мире вокруг нас.
Как художник и изобретатель в душе, творческая и дизайнерская практика Криса охватывала многие области, включая архитектуру, дополненную реальность, компьютерное зрение, музыку и робототехнику. Стремясь создать инновационные новые впечатления, Крис построил инсталляции для Центра науки Онтарио и внес вклад в крупные проекты технологического искусства, представленные по всему миру (включая Burning Man).
Можете ли вы рассказать нам, как началась ваша любовь к робототехнике и интерфейсам мозг-машина (BMI)?
Когда я был очень молод, вместо того, чтобы играть с популярными детскими игрушками, меня интересовали инструменты – так сильно, что моя любимая книга была actually каталогом инструментов (в 18 месяцев) и я хотел швейную машину на Рождество, когда мне было 3 года.
Меня интересовало, что могут сделать инструменты – как они могут расширить мои возможности и пределы моего тела. Моя любовь к робототехнике и BMI была просто продолжением этого. Меня интересовало, что лежит за пределами возможностей моего тела, за пределами диапазона моих чувств. Это имеет смысл, поскольку я считаю, что люди любят разгадывать вещи, будь то через наши чувства или через применение наших знаний и инструментов вместе, чтобы исследовать и понять наши переживания.
Я не начал строить роботов или BMI до гораздо позже, я почти уверен, что это был просто вопрос доступа. Компьютеры не были так доступны (или доступны) в 80-х годах. Я научился программировать на Commodore 64, но я не хотел, чтобы мои творения жили только в компьютере. Я научился подключать вещи к параллельному порту, но это было раздражающе и утомительно. Не было Arduino, не было малины, не было доставки в течение следующего дня от Digikey.
Самая крутая вещь, которую я построил в то время, была маска с некоторыми компьютерными контролируемыми мигающими огнями, которые я мог пульсировать в мои глаза с разными частотами. Я заметил, что мое восприятие стало немного странным, глядя на мигающие светодиоды во время моих экспериментов, поэтому меня интересовало, что произойдет, если я повлияю на все свое зрение таким образом. Очевидно, что у меня был скрытый интерес к сознанию и интерфейсу мозг-машина. Меня действительно интересует, что я мог бы построить, если бы у меня был доступ к Muse или другим хакабельным технологиям сегодня!
Какие были некоторые из первых роботов, над которыми вы работали?
Я построил очень крутого робота, который мог лазить по стенам, с помощью нескольких друзей. У него были четыре вакуумных чашки для рук и большой вакуумный живот. Единственное применение, которое мы могли придумать для него, было автономная очистка окон. Это был очень интересный проект, который был возможен благодаря доброте поставщиков автоматизации, которые дали нам детали, когда мы позвонили им с сумасшедшей идеей… но он действительно работал! Проект также научил нас многое об электромагнитных помехах и прочности гипсокартона в доме.
После этого я построил робота, который рисовал, один летом, который рисовал на огромной стене размером 6х8 футов с помощью кисти, установленной на мутант-принтере Commodore 64. Это было чудовище, которое использовало каждый кусок технологического мусора, который я мог найти, включая баллон для барбекю, компьютерные мыши и мои старые роликовые коньки. У него была веб-камера середины 90-х годов, и он пытался нарисовать то, что он видел. Это было так нелепо… я до сих пор скучаю по его терпеливой, юмористической личности.
Когда я делал свою магистерскую диссертацию, я построил подобного причудливого робота с некоторыми друзьями, который был размером с дом. Нас интересовало, что произойдет, если здание изменит свою форму и характер в ответ на людей, которые в нем находятся. Это было очень круто… и здание казалось живым! Оно двигалось и издавало шум. Вы стали так осведомлены о себе, что это было похоже на нахождение в пустом соборе.
На протяжении более десяти лет вы по сути стали киборгом. Можете ли вы рассказать нам о том, как начался этот путь?
К тому времени, когда я закончил свое высшее образование, компьютеры стали довольно мощными. Я мог позволить себе компьютер, который мог выполнять простую обработку видео со скоростью 15 кадров в секунду, Linux был почти установлен непосвященными. Мне нравилась память и скорость компьютеров, и это привело меня к вопросу: что, если бы у меня были подобные способности?
Я встретил профессора в Университете Торонто по имени Стив Манн, который был сумасшедшим изобретателем, и до сих пор является членом консультативного совета InteraXon. Он ходил с компьютером на голове и отправлял лазерные изображения в свои глаза. Это было именно то, что я искал! Если вы любите инструменты, что лучше сделать, чем покрыть себя ими?
Стив и я начали работать вместе много. Нас интересовало расширение нашего общего восприятия. Мы работали много с компьютерным зрением и построили очень ранние устройства дополненной реальности. Во многих отношениях они все еще поражают меня больше, чем AR, доступная сегодня. Стив изобрел способ создания идеального оптического выравнивания между компьютерной графикой и вашим естественным взглядом на мир. Это позволило нам делать красивые вещи, такие как плавное соединение информации с дальномера в ваше зрение. Хождение и возможность видеть тепло действительно интересно.
Вы уменьшили свои амбиции киборга, поскольку это привело к тому, что вы отдалились от других. Можете ли вы рассказать нам о некоторых деталях этого перехода в вашем мышлении?
Я представлял себе глубокую и бесшовную интеграцию с вычислительной технологией: информация всегда доступна, мгновенная связь, помощники ИИ и расширенные сенсорные способности. Я действительно верил в технологии, которые всегда есть, чтобы я мог использовать их, когда мне нужно.
Все изменилось для меня, когда я начал транслировать изображения на веб-сайт. Местная телекоммуникационная компания пожертвовала нам кучу мобильных телефонов с последовательными данными в нашей лаборатории в университете. Мы могли медленно загружать изображения, примерно одно каждые несколько секунд на низком качестве. Мы начали вызов, чтобы увидеть, кто может транслировать больше. Это был очень интересный эксперимент. Я носил компьютеры в течение месяцев, транслируя мою жизнь в Интернет, убедившись, что я постил каждые несколько секунд, когда я делал что-то интересное – живя своей жизнью через камеру.
Правда в том, что это было волнительно чувствовать, что я не одинок, постинг в воображаемую аудиторию. Знакомо звучит? Мы все получили вкус современных социальных сетей 20 лет назад. И что я узнал?
Быть застрявшим в компьютере, пытаясь связаться с другими, транслируя виртуальную жизнь, держало меня от того, чтобы быть присутствующим с другими… и я обнаружил, что я чувствую себя более одиноким, чем когда-либо. Вау.
Я ходил с постоянной информационной перегрузкой с компьютерным терминалом перед моим лицом, сигнализирующим всякий раз, когда приходило письмо, и когда загружалось изображение, текстовый веб-браузер открывался с чем-то, что я исследовал – это было много.
Хотя я был интересен компьютерами, которые помогают мне решать проблемы, я начал испытывать меньше свободы мысли. Я чувствовал себя постоянно прерываемым, будучи спровоцированным тем, что пузырилось через киберпространство. Я обнаружил, что я теряю способность настроиться на искру моей креативности, когда я всегда в состоянии информационной перегрузки.
Меня интересовала технология, которая делала меня чувствовать себя расширенным, творческим и неограниченным, но каким-то образом я нарисовал себя в угол с многим из противоположного.
Вы провели действительно замечательный социальный эксперимент, где пользователи по всей Канаде могли использовать свои умы, чтобы контролировать огни на башне CN и Ниагарском водопаде, используя свои умы. Можете ли вы описать это?
Это была особая возможность, которую мы имели на ранней стадии Muse на зимней Олимпиаде в 2010 году, в попытке связать различные части Канады с глобальным событием.
Хотя это еще не понятно, мы знаем, что наши мозговые волны синхронизируются интересными способами, особенно когда мы делаем вещи в близких отношениях, такие как общение с другими, когда мы танцуем или когда делаем музыку. Что происходит, когда вы проецируете мозговую активность человека так, чтобы ее можно было испытать многими?
Мы создали опыт, в котором люди, посещающие игры на западном побережье Канады, могли повлиять на опыт тысяч людей, в 3000 милях оттуда. Носив устройство для обнаружения мозга, участники связали свое сознание с огромным реальным дисплеем освещения, который освещал Ниагарский водопад, центр Торонто через башню CN и здания канадского парламента в Оттаве.
Вы сидели перед огромным экраном с реальным видом дисплея освещения, чтобы вы могли увидеть живой эффект вашего ума в этом более крупном опыте. Люди звонили друзьям в Торонто и просили их смотреть, как закономерности активности в их мозге освещали город драматической игрой света.
Вы описали Muse как ‘счастливую случайность’. Можете ли вы рассказать нам о деталях за этой счастливой случайностью и о том, что вы узнали из этого опыта?
Я часто забываю о красоте экспериментов, поскольку построение технологий может быть действительно утомительным. Вам нужно стать жестким, но так много великого происходит, когда вы можете вытащить патч-кабели, подключить кучу случайных вещей и просто увидеть, что произойдет… как и Muse была создана!
Первое семя Muse было посажено, когда мы написали код для подключения к старой медицинской системе ЭЭГ и потоковой передачи данных по сети. Нам нужно было найти компьютерный корпус, который поддерживал карты ISA, и мы сделали импровизированную головную повязку. Мы хотели получить данные ЭЭГ, которые будут подаваться в наши носимые компьютеры. Смогли бы мы автоматически загружать изображения, когда мы видим что-то интересное? Мы слышали, что когда вы закрываете глаза ваши альфа-мозговые волны становятся больше… может ли это быть тем, как мы чувствуем, интересно ли нам то, что мы видим?
Мы собрали вместе некоторую обработку сигналов с базовым FFT-спектральным анализом и подключили результат к простой графике, которая была похожа на один из тех вертикальных регуляторов освещения. Простая идея, но это было довольно сложное устройство. Что произошло дальше было очень интересно. Мы по очереди носили устройство, закрывая и открывая глаза. Конечно, регулятор шел вверх и вниз, но он блуждал в любопытных способах. Когда мы закрывали глаза, он шел вверх, но не все пути вверх и все еще блуждал… Что происходило?
Мы провели часы, играя с ним, пытаясь понять, что делало его блуждать и можем ли мы его контролировать. Мы подключили выход к слышимому звуку, чтобы мы могли услышать его, когда мы закрывали глаза. Я помню, что сидел там в течение вечности, глаза закрыты, исследуя мое сознание и звук.
Я вскоре обнаружил, что я могу сосредоточить мое сознание разными способами, меняя звук, но также меняя мое переживание, мое восприятие и то, как я чувствовал себя. Мы пригласили других людей в лабораторию, и то же самое произошло с ними. Они закрывали глаза и входили в глубокое внутреннее исследование (звучит как медитация, не так ли?!). Это было дико – мы совершенно забыли о своей исходной идее, поскольку это было так намного интереснее. Это была счастливая случайность – я могу сказать, что я открыл для себя медитацию и осознанность через технологии, случайно!
Можете ли вы объяснить некоторые технологии, которые позволяют Muse обнаруживать мозговые волны?
Мозг имеет миллиарды нейронов, и каждый отдельный нейрон соединен (в среднем) с тысячами других. Связь происходит между ними через небольшие электрические токи, которые текут вдоль нейронов и по огромным сетям мозговых цепей. Когда все эти нейроны активируются, они производят электрические импульсы – представьте себе волну, которая проходит через толпу на стадионе – эта синхронизированная электрическая активность приводит к “мозговой волне”.
Когда многие нейроны взаимодействуют таким образом одновременно, эта активность достаточно сильна, чтобы быть обнаруженной даже вне мозга. Размещая электроды на скальпе, эту активность можно усилить, проанализировать и визуализировать. Это электроэнцефалография, или ЭЭГ – модное слово, которое просто означает электрическую мозговую графу. (Энцефалон, мозг, происходит от древнегреческого “энкефалос”, что означает “в голове”.)
Muse была протестирована и подтверждена против систем ЭЭГ, которые намного дороже, и она используется нейробиологами по всему миру в реальных научных исследованиях внутри и вне лаборатории. Используя 7 тонко настроенных датчиков – 2 на лбу, 2 за ушами плюс 3 датчика-спутника – Muse является следующим поколением, передовой системой ЭЭГ, которая использует передовые алгоритмы для обучения начинающих и средних медитаторов контролировать свое внимание. Она учит пользователей, как манипулировать своими мозговыми состояниями и как изменить характеристики своего мозга.
Технология алгоритмов Muse более сложна, чем традиционная нейрообратная связь. Создавая приложение Muse, мы начали с этих мозговых волн, а затем провели годы интенсивных исследований более высокого порядка комбинаций первичных, вторичных и третичных характеристик сырых данных ЭЭГ и того, как они взаимодействуют с медитацией, сосредоточенной на внимании.
Какие некоторые заметные медитативные или психические улучшения, которые вы лично заметили от использования Muse?
Мое внимание более гибкое и сильнее. Это звучит просто, но я знаю, как расслабиться. Я лучше понимаю свои эмоции и более настроен на других. Это действительно изменило мою жизнь.
Помимо людей, которые медитируют, какие другие сегменты населения являются активными пользователями Muse?
Существует много биохакеров и ученых – некоторые из которых сделали действительно удивительные вещи. Проф. Криголсон из Университета Виктории использовал Muse в марсианском доме и провел эксперименты на горе Эверест с монахами, которые живут в монастырях на горе. Также есть некоторые удивительные люди в лаборатории медиа MIT, которые используют Muse во время сна, чтобы повлиять на сны. Так круто.
Есть ли что-то еще, что вы хотели бы рассказать о Muse?
Вход в мир сна с нашей последней версией продукта Muse S был бесконечно интересен с точки зрения продукта и исследования, и очень интересен, когда речь идет о положительных применениях Muse для многих людей, которые хотят получить лучший ночной сон.
Также я лично люблю, как Muse может отображать вашу мозговую активность как звук. За годы изучения биосигналов я никогда не устал от красоты этих волн, которые текут внутри нас. Как волны океана, они бесконечно сложны, но просты и знакомы. Мне нравится, что мы красивы внутри, и мне нравится задача вытащить это и отпраздновать это как звук и музыку.
Спасибо за великое интервью, я с нетерпением жду, когда получу Muse, и все, кто хочет узнать больше или заказать устройство, должны посетить веб-сайт Muse.












