AR, XR i interfejsy mózgowe
Chris Aimone, współzałożyciel i dyrektor techniczny w Muse – seria wywiadów

Chris Aimone współzałożył Muse z etosem tworzenia technologii, która rozszerza naszą perspektywę na siebie i świat wokół nas.
Jako artysta i wynalazca w duszy, praktyka twórcza Chrisa obejmowała wiele dziedzin, w tym architekturę, rzeczywistość rozszerzoną, komputerowe przetwarzanie obrazu, muzykę i robotykę. Chcąc stworzyć innowacyjne doświadczenia, Chris zbudował instalacje dla Ontario Science Centre i wniósł wkład w duże projekty sztuki technologicznej prezentowane na całym świecie (w tym Burning Man).
Czy możesz podzielić się z nami, jak Twoja miłość do robotyki i interfejsów mózg-maszyna (BMI) zaczęła się?
Kiedy byłem bardzo młody, zamiast bawić się popularnymi zabawkami dla dzieci, interesowałem się narzędziami – tak bardzo, że moja ulubiona książka była katalogiem narzędzi (w wieku 18 miesięcy) i chciałem maszynę do szycia na Boże Narodzenie, gdy miałem 3 lata.
Byłem zainteresowany tym, co mogą zrobić narzędzia – jak mogą rozszerzyć moje możliwości, i moja miłość do robotyki i BMI była po prostu kontynuacją tego. Byłem tak ciekawy, co leży poza granicami moich możliwości, poza zasięgiem moich zmysłów. To ma sens, ponieważ uważam, że ludzie kochają rozwiązywać problemy, czy to przez nasze zmysły, czy przez stosowanie naszej wiedzy i narzędzi, aby zrozumieć nasze doświadczenia.
Nie zacząłem budować robotów ani BMI aż do znacznie później, jestem prawie pewien, że było to tylko kwestią dostępu. Komputery nie były tak tanie (lub dostępne) w latach 80. Nauczyłem się programować na Commodore 64, ale nie chciałem, aby moje twory żyły tylko w komputerze. Nauczyłem się podłączać rzeczy do portu równoległego, ale było to frustrujące i nużące. Nie było Arduino, nie było maliny, nie było dostaw z Digikey w ciągu dnia.
Najfajniejszą rzeczą, którą zbudowałem wtedy, była maska z komputerowo sterowanymi migającymi światłami, które mogłem pulsować w moje oczy z różnymi częstotliwościami. Zauważyłem, że moje postrzeganie stało się trochę dziwne, gdy patrzyłem na migające diody LED podczas moich eksperymentów, więc byłem ciekawy, co się stanie, jeśli wpłynę na całe moje pole widzenia w ten sposób. Oczywiście miałem ukryty zainteresowanie świadomością i interfejsem mózg-maszyna. Jestem bardzo ciekawy, co mogłem zbudować, gdybym miał dostęp do Muse lub innych hakowalnych technologii dzisiaj!
Jakie były niektóre z pierwszych robotów, nad którymi pracowałeś?
Zbudowałem naprawdę fajnego robota wspinacza ze znajomymi. Miał cztery ssące szklanki na ręce i duży brzuch ssący. Jedynym użyciem, o którym mogliśmy pomyśleć, było samodzielne czyszczenie okien. To było super fajny projekt umożliwiony przez dobroć dostawców automatyki, którzy dali nam części, gdy cold-callowaliśmy ich z szalonym pomysłem… ale działało! Projekt nauczył nas również wiele o interferencji elektromagnetycznej i sile gipsu w domu.
Później zbudowałem robota malującego jeden letni, który malował na ogromnym płótnie 6×8 ściany za pomocą pędzla zamontowanego na mutantach drukarki Commodore 64. Było to potworne, które wykorzystywało każdy kawałek technologicznego śmiecia, jakiego mogłem znaleźć, w tym zbiornik z grilla, myszy komputerowe i moje stare łyżwy. Miał kamerę internetową z połowy lat 90. i próbował rysować to, co widział. Było tak absurdalnie… nadal tęsknię za jego cierpliwą, humorystyczną osobowością.
Gdy robiłem swój magister, zbudowałem podobnie kapryśnego robota z przyjaciółmi, który był wielkości domu. Byliśmy zainteresowani tym, co się stanie, jeśli budynek zmieni kształt i osobowość w odpowiedzi na ludzi, którzy są w nim. Było super… i budynek wydawał się żywy! Poruszał się i robił hałas. Stawałeś się tak świadomy siebie, czułeś się jak w pustym katedrze.
Przez ponad dekadę praktycznie stałeś się cyborgiem. Czy możesz podzielić się swoją historią, jak ta podróż zaczęła się?
Do czasu, gdy skończyłem studia licencjackie, komputery stały się dość zdolne. Mogłem sobie pozwolić na komputer, który mógł wykonywać proste przetwarzanie wideo z prędkością 15 klatek na sekundę, Linux był prawie instalowalny przez osoby niebędące inicjowanymi. Kochałem pamięć i szybkość komputerów i to doprowadziło mnie do pytania: Co, gdybym miał podobne zdolności?
Poznałem tego profesora na UofT o imieniu Steve Mann, który był dzikim wynalazcą, i nadal jest członkiem rady doradczej InteraXon. Chodził z komputerem na głowie i wysyłał obrazy laserowe do swoich oczu. To było dokładnie to, czego szukałem! Jeśli kochasz narzędzia, co lepszego można zrobić, niż okryć się nimi?
Steve i ja zaczęliśmy współpracować. Obydwaj byliśmy zainteresowani rozszerzaniem naszego ogólnego postrzegania. Pracowaliśmy wiele z komputerowym widzeniem i zbudowaliśmy bardzo wczesne urządzenia rzeczywistości rozszerzonej. W wielu ways nadal mnie zaskakują bardziej niż AR dostępne dzisiaj. Steve wynalazł sposób tworzenia idealnego wyjustowania optycznego między grafiką komputerową a naturalnym widokiem świata. To pozwoliło nam robić piękne rzeczy, takie jak łączenie informacji z kamery podczerwieni w naszym widzeniu. Chodzenie i widzenie ciepła jest naprawdę interesujące.
Zmniejszyłeś swoje ambicje cyborga, ponieważ spowodowało to, że oddaliłeś się od innych. Czy możesz podzielić się niektórymi szczegółami na temat tej transformacji w Twoim myśleniu?
Wyobrażałem sobie głęboką i bezproblemową integrację z technologią komputerową: zawsze dostępną informację, natychmiastową komunikację, asystentów AI i rozszerzone zdolności sensoryczne. Naprawdę wierzyłem w to, że technologia zawsze będzie tam, gdzie będę mógł ją potrzebować.
Rzeczy zmieniły się dla mnie, gdy zacząłem nadawać obrazy na stronę internetową. Lokalna firma telekomunikacyjna ofiarowała nam wiele telefonów komórkowych z połączeniami danych szeregowymi do naszego laboratorium na uczelni. Mogliśmy powoli uploadować obrazy, około jednego co kilka sekund przy niskiej jakości. Zaczęliśmy wyzwanie, aby zobaczyć, kto może transmitować najwięcej. Było to super interesujący eksperyment. Nosiłem komputery przez miesiące, transmitując moje życie do internetu, upewniając się, aby opublikować co kilka sekund, gdy robiłem coś interesującego – żyłem moim życiem przez kamerę.
Prawdą jest, że było ekscytujące czuć, że nie jestem sam, publikując na wyobrażonej publiczności. Brzmi znajomo? Wszyscy dostaliśmy smak dzisiejszych mediów społecznościowych, 20 lat temu. Co się nauczyłem?
Bycie zakleszczonym w komputerze, próbując połączyć się z innymi przez transmisję wirtualnego życia, utrzymywało mnie od bycia obecnym z innymi… i znalazłem się czując bardziej samotnym niż kiedykolwiek. Woah.
Chodziłem z komputerem przed moją twarzą, sygnalizującym, gdy przychodził e-mail, a gdy obraz był uploadowany, tekstowy przeglądarka internetowa otwierała się z czymś, co badałem – było to dużo.
Chociaż byłem zainteresowany komputerami, które pomagają mi rozwiązać problemy, zacząłem doświadczać mniejszej swobody myśli. Czułem się ciągle przerywanym, wyzwalanym przez to, co się pojawiało w cyberprzestrzeni. Odkryłem wyzwanie pozostania w kontakcie z tym, kim jesteś, i utraty zdolności do dostrojenia się do iskry Twojej kreatywności, gdy jesteś zawsze w stanie przeładowania informacjami.
Byłem zainteresowany technologią, która sprawia, że czuję się rozległy, kreatywny i nieograniczony, ale jakoś malowałem się w kąt z czymś przeciwnym.
Wykonałeś naprawdę godny uwagi eksperyment społeczny, gdzie użytkownicy w całej Kanadzie mogli kontrolować światła na wieży CN i wodospadach Niagara za pomocą swoich umysłów. Czy możesz opisać to?
To była specjalna okazja, którą mieliśmy na wczesnym etapie podróży Muse, na zimowych igrzyskach olimpijskich w 2010 roku, w celu połączenia różnych części Kanady z globalnym wydarzeniem.
Chociaż nie jest to jeszcze zrozumiane, wiemy, że nasze falę mózgowe synchronizują się w interesujący sposób, zwłaszcza gdy robimy rzeczy w bliskiej relacji, takie jak komunikacja z innymi, gdy tańczymy lub gdy tworzymy muzykę. Co się stanie, gdy wyślemy aktywność mózgu jednostki w taki sposób, aby mogła być doświadczana przez wielu?
Stworzyliśmy doświadczenie, w którym ludzie uczestniczący w grach na zachodnim wybrzeżu Kanady mogli wpłynąć na doświadczenie tysięcy ludzi, 3000 mil dalej. Poprzez noszenie urządzenia do wykrywania aktywności mózgu, uczestnicy połączyli swoją świadomość z ogromnym, rzeczywistym wyświetlaniem świateł, które oświetlało wodospady Niagara, centrum Toronto za pomocą wieży CN i budynki parlamentu kanadyjskiego w Ottawie.
Siedziałeś przed ogromnym ekranem z widokiem na czas rzeczywisty wyświetlania świateł, abyś mógł zobaczyć żywe efekty Twojego umysłu w tym większym niż życie doświadczeniu. Ludzie dzwonili do przyjaciół w Toronto i prosili ich, aby oglądali, gdy wzory aktywności w ich mózgu oświetlały miasto z dramatyczną grą świateł.
Opisałeś Muse jako “szczęśliwy wypadek”. Czy możesz podzielić się szczegółami za tym szczęśliwym wypadkiem i tym, czego nauczyłeś się z tego doświadczenia?
Często zapominam o pięknie eksperymentowania, ponieważ budowanie technologii może być naprawdę nużące. Musisz zostać sztywnym, ale tak wiele wielkich rzeczy dzieje się, gdy możesz wyjąć patch-kable, podłączyć trochę losowych rzeczy i po prostu zobaczyć, co się stanie… tak jak Muse zostało stworzone!
Pierwsze ziarno Muse zostało zasiane, gdy napisaliśmy kod, aby połączyć się ze starym systemem EEG medycznym i transmitować dane przez sieć. Musieliśmy znaleźć obudowę komputera, która wspierała karty ISA, i zrobiliśmy improwizowaną opaskę na głowę. Chcieliśmy uzyskać dane EEG, które będą zasilane do naszych komputerów noszonych. Czy moglibyśmy automatycznie uploadować obrazy, gdy widzieliśmy coś interesującego? Słyszeliśmy, że gdy zamykasz oczy, Twoje fale mózgowe alfa stają się większe… czy to może być sposób, w jaki rozpoznajemy, czy jesteśmy zainteresowani tym, co widzimy?
Włamywaliśmy się w przetwarzanie sygnału z podstawową analizą FFT i podłączyliśmy wynik do prostego graficznego, który wyglądał jak pionowy suwak dimmera. Prosta idea, ale to było dość skomplikowane urządzenie. Co się stało następnie, było super interesujące. Braлиśmy na przemian noszenie urządzenia, zamykając i otwierając oczy. Oczywiście, suwak szedł w górę i w dół, ale błąkał się w ciekawy sposób. Gdy zamykałem oczy, szedł w górę, ale nie cały, i nadal błąkał się… Co się działo?
Spędziliśmy godziny, grając z tym, próbując zrozumieć, co powodowało, że błąkał się, i czy mogliśmy go kontrolować. Podłączyliśmy wyjście do słyszalnego dźwięku, abyśmy mogli usłyszeć, jak idzie w górę i w dół, gdy mieliśmy zamknięte oczy. Pamiętam, że siedziałem tam przez wieki, z zamkniętymi oczami, eksplorując moją świadomość i dźwięk.
Wkrótce odkryłem, że mogę skupić moją świadomość na różne sposoby, zmieniając dźwięk, ale także zmieniając moje doświadczenie, moje postrzeganie i sposób, w jaki się czuję. Zaprosiliśmy innych ludzi do laboratorium i to samo się stało z nimi. Zamykali oczy i wchodziли w głęboką wewnętrzną eksplorację (brzmi to jak medytacja, nie?). Było dzikie – całkowicie zapomnieliśmy o naszym pierwotnym pomysłu, ponieważ to było o wiele bardziej interesujące. To był szczęśliwy wypadek – mogę powiedzieć, że odkryłem medytację i uważność poprzez technologię, przypadkowo!
Czy możesz wyjaśnić niektóre z technologii, które umożliwiają Muse wykrywanie fal mózgowych?
Mózg ma miliardy neuronów, a każdy pojedynczy neuron łączy się (średnio) z tysiącami innych. Komunikacja odbywa się między nimi przez małe prądy elektryczne, które podróżują wzdłuż neuronów i przez ogromne sieci obwodów mózgu. Gdy wszystkie te neurony są aktywowane, produkują one prądy elektryczne – wyobraź sobie falę, która rozchodzi się przez tłum na stadionie – ta zsynchronizowana aktywność elektryczna powoduje “falę mózgową”.
Gdy wiele neuronów oddziałuje w ten sposób w tym samym czasie, ta aktywność jest wystarczająco silna, aby być wykrywalną nawet poza mózgiem. Poprzez umieszczenie elektrod na skórze czaszki, tę aktywność można wzmocnić, przeanalizować i uwidocznić. To jest elektroencefalografia, lub EEG – wyraz, który po prostu oznacza elektryczny rysunek mózgu. (Encephalon, mózg, pochodzi od starogreckiego “enképhalos”, co oznacza “wewnątrz głowy”.)
Muse zostało przetestowane i zwalidowane wobec systemów EEG, które są wykładniczo droższe, i jest używane przez neuroscientystów na całym świecie w prawdziwej naukowej pracy wewnątrz i na zewnątrz laboratorium. Używając 7 precyzyjnie skalibrowanych czujników – 2 na czole, 2 za uszami plus 3 czujniki referencyjne – Muse jest następną generacją, najnowocześniejszym systemem EEG, który używa zaawansowanych algorytmów, aby szkolić początkujących i średnio zaawansowanych medytatorów w kontrolowaniu ich uwagi. Uczy użytkowników, jak manipulować stanami mózgu i jak zmieniać cechy ich mózgu.
Technologia algorytmu Muse jest bardziej skomplikowana niż tradycyjna informacja zwrotna. Przy tworzeniu aplikacji Muse, zaczęliśmy od tych fal mózgowych, a następnie spędziliśmy lata na intensywnych badaniach nad wyższymi kombinacjami pierwotnych, wtórnych i trzeciorzędnych cech surowych danych EEG i tym, jak oddziałują one z medytacją z uwagą.
Co są niektóre zauważalne medytacyjne lub mentalne ulepszenia, które osobiście zauważyłeś, używając Muse?
Moja uwaga jest bardziej zwinna i silniejsza. Brzmi prosto, ale wiem, jak się relaksować. Lepsze rozumiem moje emocje i jestem bardziej w zgodzie z innymi. To jest naprawdę zmieniające życie.
Poza ludźmi, którzy medytują, jakie inne segmenty populacji są gorliwymi użytkownikami Muse?
jest wiele biohakerów i naukowców – niektórzy z nich zrobili naprawdę niesamowite rzeczy. Prof. Krigolson z UVic używał Muse w Mars Habitat, i przeprowadził eksperymenty na Mount Everest z mnichami, którzy mieszkają w klasztorach na górze. Są także niektórzy wspaniali ludzie w MIT Media Lab, którzy używają Muse podczas snu, aby wpłynąć na sny. To jest tak cool.
Czy jest coś jeszcze, co chciałbyś podzielić się o Muse?
Wejście do świata snu z naszym najnowszym produktem Muse S było nieskończenie interesujące z punktu widzenia produktu i badań, i bardzo ekscytujące, jeśli chodzi o pozytywne zastosowania, jakie Muse może mieć dla tak wielu ludzi, którzy chcą lepiej spać.
Także, osobiście kocham, jak Muse może wyświetlać Twoją aktywność mózgu jako dźwięk. Od lat studiowania sygnałów biologicznych, coś, czego nigdy nie przestałem lubić, to piękno tych fal, które płyną w nas. Jak fale oceanu, są one nieskończenie złożone, a jednocześnie proste i znajome. Kocham, że jesteśmy piękni wewnątrz, i kocham wyzwanie, aby to wydobyć i uczcić jako dźwięk i muzykę.
Dziękuję za wspaniały wywiad, czekam na to, aby dostać Muse, każdy, kto chce dowiedzieć się więcej lub zamówić jednostkę, powinien odwiedzić stronę internetową Muse.












