AR, XR och hjärngränssnitt
Chris Aimone, medgrundare och teknisk chef på Muse – Intervju-serien

Chris Aimone co-founded Muse med en etos att skapa teknik som utvidgar vår syn på oss själva och världen runt omkring oss.
En konstnär och uppfinnare i hjärtat, Chris kreativa och designpraxis har omfattat många områden, inklusive arkitektur, förstärkt verklighet, datorseende, musik och robotik. I syfte att skapa innovativa nya upplevelser, har Chris byggt installationer för Ontario Science Centre och bidragit till stora teknisk-konstprojekt som visas runt om i världen (inklusive Burning Man).
Kan du dela med oss hur din kärlek till robotik och hjärna-maskin-gränssnitt (BMI) började?
När jag var mycket ung, istället för att leka med populära/trendiga barnleksaker, var jag intresserad av verktyg – så mycket att min favoritbok faktiskt var en katalog över verktyg (vid 18 månader) och jag ville en symaskin till jul när jag var 3.
Jag var intresserad av vad verktyg kunde göra – hur de kunde utöka min räckvidd in i det omöjliga, och min kärlek till robotik och BMI var bara en utvidgning av det. Jag var så nyfiken på vad som låg precis utanför gränserna för min kroppsförmåga, precis utanför räckhåll för mina sinnen. Det har mycket logik, eftersom jag tror att vi människor älskar att lösa problem, antingen genom våra sinnen eller genom att tillämpa vår kunskap och våra verktyg tillsammans för att utforska och ge mening åt våra upplevelser.
Jag började inte bygga robotar eller BMIs förrän mycket senare, jag är ganska säker på att det bara var en fråga om tillgänglighet. Datorer var inte så överkomliga (eller tillgängliga) på 80-talet. Jag lärde mig att programmera på en Commodore 64, men jag ville inte att mina skapelser skulle bara leva i en dator. Jag lärde mig att koppla saker till parallellporten, men det var frustrerande och tråkigt. Det fanns ingen Arduino, ingen raspberry pi, ingen nästa-dagsleverans från Digikey.
Det coolaste jag byggde under den tiden var en mask med några datorstyrda blinkande lampor som jag kunde pulsera in i mina ögon i olika frekvenser. Jag hade märkt att min perception blev lite konstig när jag tittade på blinkande LEDs i mina experiment, så jag var nyfiken på vad som skulle hända om jag påverkade hela min syn på det sättet. Det är tydligt att jag hade ett latent intresse för medvetande och hjärna-maskin-gränssnitt. Jag är verkligen nyfiken på vad jag kanske hade byggt om jag hade tillgång till Muse eller andra hackbara teknologier idag!
Vilka var några av de första robotarna som du arbetade med?
Jag byggde en riktigt cool väggklimpande robot med några vänner. Den hade fyra sugkoppar för händer och en stor sugmage. Den enda användningen vi kunde tänka oss för den var autonom fönsterrengöring. Det var ett superroligt projekt som möjliggjordes av automationstillverkare som gav oss delar när vi ringde dem med ett galet idé… men det fungerade! Projektet lärde oss också mycket om elektromagnetisk interferens och styrkan i gipsskivan i huset.
Efter det byggde jag en målningsrobot en sommar som målade på en enorm 6×8 väggduk med en pensel monterad på en mutant Commodore 64-skrivare. Det var en monstrositet som använde varje bit av tekniskt skräp jag kunde hitta, inklusive en grilltank, datormöss och mina gamla rullskridskor. Den hade en webbkamera från mitten av 90-talet och försökte rita vad den såg. Det var så löjligt… jag saknar fortfarande dess tålmodiga, humoristiska personlighet.
När jag gjorde min masterexamen byggde jag en liknande kaprisrobot med några vänner som var stor som ett hus. Vi var intresserade av vad som skulle hända om ett hus förändrade form och personlighet i svar till de människor som var i det. Det var supercoolt… och byggnaden kändes levande! Den rörde sig och gjorde ljud. Du blev så medveten om dig själv, det kändes som att vara i en tom katedral.
För över ett decennium blev du i princip en cyborg. Kan du dela med oss hur den resan började?
När jag avslutade min grundexamen hade datorer blivit ganska kapabla. Jag kunde köpa en dator som kunde göra enkel bearbetning av video i 15 bilder per sekund, Linux var nästan installerbart av de oinvigda. Jag älskade minnet och hastigheten hos datorer och det ledde mig att fråga: Vad om jag hade liknande förmågor?
Jag mötte den här professorn på UofT som hette Steve Mann som var en vild uppfinnare, och fortfarande en medlem i InteraXon-rådet idag. Han gick runt med en dator på huvudet och skickade laserbilder in i hans ögon. Det var exakt vad jag letade efter! Om du älskar verktyg, vad bättre att göra än att täcka dig med dem?
Steve och jag började arbeta mycket tillsammans. Vi var båda intresserade av att utöka vår övergripande perception. Vi arbetade mycket med datorseende och byggde mycket tidiga förstärkta verklighetsenheter. På många sätt imponerar de fortfarande mer på mig än den förstärkta verklighet som finns tillgänglig idag. Steve hade uppfunnit ett sätt att skapa perfekt optisk justering mellan datorgrafik och din naturliga vy av världen. Detta tillät oss att göra vackra saker som att smälta samman information från en långväga-infraröd kamera sömlöst in i din syn. Att gå runt och kunna se värme är riktigt intressant.
Du skalaade tillbaka dina cyborg-ambitioner, eftersom det gjorde att du distanserade dig från andra. Kan du dela med oss några detaljer om den övergången i ditt tankesätt?
Jag hade föreställt mig en djup och sömlös integration med datorteknologi: Information alltid tillgänglig, omedelbar kommunikation, AI-assistent och utökade sensoriska förmågor. Jag trodde verkligen på att tekniken alltid skulle finnas där så att jag kunde ha den när jag behövde den.
Saker förändrades för mig när jag började sända bilder till en webbplats. Ett lokalt telekommunikationsföretag donerade en massa mobiltelefoner med serietillämpningar till vårt labb på universitetet. Vi kunde långsamt ladda upp bilder, ungefär en varannan sekund i låg trohet. Vi började en utmaning för att se vem som kunde strömma mest. Det var ett superintressant experiment. Jag bar datorer i månader och strömmade mitt liv till internet, säkerställde att jag publicerade varannan sekund när jag gjorde något intressant — levde mitt liv genom en kameravy.
Sanningen är att det var spännande att känna att jag inte var ensam, att publicera till en föreställd publik. Ljuder bekant? Vi alla fick en smak av dagens sociala medier, 20 år sedan. Och vad lärde jag mig?
Att vara fast i en dator, att försöka ansluta till andra genom att sända en virtuell liv, höll mig borta från att vara närvarande med andra… och jag upptäckte att jag kände mig mer ensam än någonsin. Voa.
Jag gick runt med konstant informationsöverbelastning med en datorterminal framför mitt ansikte som signalerade när ett e-postmeddelande kom in, och när en bild laddades upp, öppnades en textwebbläsare med något jag forskade i – det var mycket.
Även om jag var intresserad av datorer som hjälpte mig att lösa problem, började jag uppleva mindre frihet av tanke. Jag kände mig ständigt avbruten, utlöst av vad som bubblade upp genom cyberrymden. Jag upptäckte utmaningen att stanna i kontakt med vem du är och förlusten av förmåga att stämma in på din gnista av kreativitet när du alltid är i ett tillstånd av informationsöverbelastning.
Jag var intresserad av teknologi som gjorde mig känna expansiv, kreativ och obunden, men på något sätt målade jag mig själv in i ett hörn med mycket av det motsatta.
Du gjorde en riktigt anmärkningsvärd samhällsexperiment, där användare över hela Kanada kunde använda sina sinnen för att kontrollera lampor på CN Tower och Niagara Falls med sina sinnen. Kan du beskriva detta?
Detta var en speciell möjlighet vi hade tidigt i Muse-resan, vid vinter-OS 2010, i ett försök att ansluta de olika delarna av Kanada till den globala händelsen.
Medan det fortfarande inte är känt, vet vi att våra hjärnvågor synkroniseras på intressanta sätt, särskilt när vi gör saker i en nära relation, som att kommunicera med varandra, när vi dansar eller när vi skapar musik. Vad händer när du projicerar den enskilda individens hjärnaktivitet på ett sätt som kan upplevas av många?
Vi skapade en upplevelse där människor som deltog i spelen på västkusten av Kanada kunde påverka upplevelsen av tusentals människor, 3000 mil bort. Genom att bära en hjärnskanningsenhet, anslöt deltagarna sin medvetenhet till enorma realtidsljusvisningar som belyste Niagara Falls, downtown Toronto via CN Tower och de kanadensiska parlamentets byggnader i Ottawa.
Du satt framför en stor skärm med en realtidsvy av ljusvisningarna så att du kunde se den direkta effekten av ditt sinne i den här större än livet-upplevelsen. Människor skulle ringa upp vänner i Toronto och få dem att titta medan mönstren av aktivitet i deras hjärna belyste staden med en dramatisk lek av ljus.
Du har beskrivit Muse som en “lycklig olycka”. Kan du dela med oss detaljerna bakom den lyckliga olyckan och vad du lärde dig av upplevelsen?
Jag glömmer ofta skönheten i att improvisera, eftersom att bygga teknik kan vara riktigt tråkigt. Du måste bli stel, men så mycket bra saker händer när du kan bryta ut patch-kablar, ansluta en massa slumpmässiga saker och bara se vad som händer… precis som när Muse skapades!
Det första fröet till Muse såddes när vi skrev någon kod för att ansluta till ett gammalt medicinskt EEG-system och strömmade data över ett nätverk. Vi var tvungna att hitta en datorchassi som stödde ISA-kort och vi gjorde en provisorisk huvudband. Vi ville få EEG-data som matades in i våra bärbara datorer. Kunde vi ladda upp bilder automatiskt när vi såg något intressant? Vi hade hört att när du stängde ögonen skulle dina alpha-hjärnvågor bli större… kunde detta vara hur vi upptäckte om vi var intresserade av vad vi såg?
Vi hakade ihop någon signalbehandling med någon grundläggande FFT-spektralanalys och anslöt resultatet till en enkel grafik som var som en av de vertikala ljusdimmerreglagen. Enkel idé, men det var en ganska omfattande installation. Vad hände sedan var superintressant. Vi turades om att bära enheten, stänga och öppna ögonen. Jo, slidern gick upp och ner, men den vandrade runt på ett konstigt sätt. När vi stängde ögonen gick den upp, men inte hela vägen upp och fortfarande vandrade runt… Vad hände?
Vi tillbringade timmar med att leka med det, försöka förstå vad som gjorde att det vandrade runt och om vi kunde kontrollera det. Vi anslöt utgången till en hörbar ljud så att vi kunde höra det gå upp och ner när vi hade ögonen stängda. Jag minns att jag satt där i timmar, ögonen stängda, och utforskade mitt medvetande och ljudet.
Jag upptäckte snart att jag kunde fokusera mitt medvetande på olika sätt, förändra ljudet, men också förändra min upplevelse, min perception och hur jag kände mig. Vi bjöd in andra människor till labbet och samma sak hände med dem. De skulle stänga ögonen och gå in i en djup inre utforskning (låter lite som meditation, eller hur?!). Det var vilt – vi glömde helt vår ursprungliga idé, eftersom detta var så mycket mer intressant. Det var den lyckliga olyckan – jag kan säga att jag upptäckte meditation och medvetenhet genom teknik, av en slump!
Kan du förklara någon av tekniken som möjliggör för Muse att upptäcka hjärnvågor?
Hjärnan har miljarder neuroner, och varje enskild neuron ansluter (i genomsnitt) till tusentals andra. Kommunikation sker mellan dem genom små elektriska strömmar som reser sig längs neuronerna och genom enorma nätverk av hjärncirkit. När alla dessa neuroner aktiveras producerar de elektriska pulser – visualisera en våg som rör sig genom folkmassan på en idrottsarena – denna synkroniserade elektriska aktivitet resulterar i en “hjärnvåg”.
När många neuroner interagerar på detta sätt samtidigt är aktiviteten tillräckligt stark för att upptäckas även utanför hjärnan. Genom att placera elektroder på skalpen kan aktiviteten förstärkas, analyseras och visualiseras. Detta är elektroencefalografi, eller EEG – ett fancy ord som bara betyder elektrisk hjärnkarta. (Encefalon, hjärnan, är härlett från det antika grekiska “enképhalos”, som betyder “inom huvudet”.)
Muse har testats och validerats mot EEG-system som är exponentiellt dyrare, och det används av neurovetenskapsmän runt om i världen i riktiga neurovetenskapliga studier, både inom och utanför labbet. Med 7 finjusterade sensorer – 2 på pannan, 2 bakom öronen plus 3 referenssensorer – är Muse ett nästa-generations, toppmodernt EEG-system som använder avancerade algoritmer för att träna nybörjare och intermediära meditatorer att kontrollera sin fokus. Det lär användare hur man manipulerar sina hjärntillstånd och hur man förändrar egenskaperna hos sina hjärnor.
Muse-algoritmtillverkningsteknologi är mer komplex än traditionell neurofeedback. När vi skapade Muse-appen började vi med dessa hjärnvågor och tillbringade sedan år med intensiv forskning på högre ordningens kombinationer av primära, sekundära och tertiära egenskaper hos rå EEG-data och hur de interagerar med fokuserad uppmärksamhetsmeditation.
Vad är några av de märkbara meditativa eller mentala förbättringarna som du personligen har märkt av att använda Muse?
Min uppmärksamhet är mer smidig och den är starkare. Det låter enkelt, men jag vet hur man slappnar av. Jag förstår mina känslor bättre och jag är mer i samklang med andra. Det är verkligen livsförändrande.
Utöver människor som mediterar, vilka andra segment av befolkningen är ivriga användare av Muse?
Det finns många biohackare och forskare – några av dem har gjort riktigt coolt. Prof. Krigolson från UVic har använt Muse i Mars-habitatet, och han har gjort experiment på Mount Everest med munkarna som bor i klostren på berget. Det finns också några fantastiska människor på MIT Media Lab som använder Muse medan de sover för att påverka drömmar. Så coolt.
Finns det något annat som du vill dela om Muse?
Att gå in i världen av sömn med vår senaste produkt, Muse S, har varit oändligt intressant från ett produkt- och forskningsperspektiv, och mycket spännande när det gäller de positiva tillämpningarna Muse kan ha för så många människor som vill få en bättre natts sömn.
Jag personligen älskar hur Muse kan återge din hjärnaktivitet som ljud. Från år av att studera biosignaler, är det något jag aldrig har tröttnat på – skönheten i dessa vågor som flyter inom oss. Som vågorna i havet är de oändligt komplexa, men enkla och bekanta. Jag älskar att vi är vackra inuti, och jag älskar utmaningen att ta fram det och fira det som ljud och musik.
Tack för den underbara intervjun, jag ser fram emot att få mina händer på Muse, vem som helst som vill lära sig mer eller beställa en enhet bör besöka Muse-webbplatsen.












