AR, XR og hjernegrensesnitt

Chris Aimone, medgrunnlegger og teknologidirektør i Muse – Intervju-serie

mm
Legg til Unite.AI blant dine foretrukne kilder på Google

Chris Aimone var med å grunnlegge Muse med en etos som går ut på å skape teknologi som utvider vår perspektiv på oss selv og verden omkring oss.

Som kunstner og oppfinner i hjertet, har Chris’ kreative og designpraksis spennt over mange felt, inkludert arkitektur, forsterket virkelighet, datavisjon, musikk og robotikk. I et forsøk på å bringe innovative nye opplevelser til live, har Chris bygget installasjoner for Ontario Science Centre og bidratt til store teknologi-kunstprosjekter som er vist over hele verden (inkludert Burning Man).

Kan du dele med oss hvordan din kjærlighet til robotikk og hjernen-maskin-grensesnitt (BMI) begynte?

Da jeg var svært ung, i stedet for å spille med populære/barns leker, var jeg interessert i verktøy – så mye at min favorittbok faktisk var en katalog over verktøy (da jeg var 18 måneder) og jeg ønsket meg en symaskin til jul da jeg var 3.

Jeg var interessert i hva verktøy kunne gjøre – hvordan de kunne utvide min rekkevidde inn i det umulige, og min kjærlighet til robotikk og BMI var bare en utvidelse av det. Jeg var så nysgjerrig på hva som lå like utenfor grensene av mine kropps evner, like utenfor rekkevidden av mine sanser. Dette har mye mening på en måte, ettersom jeg tror at vi mennesker elsker å finne ut ting, enten det er gjennom våre sanser eller ved å anvende vår kunnskap og våre verktøy sammen for å utforske og gi mening til våre erfaringer.

Jeg begynte ikke å bygge roboter eller BMIs før mye senere, jeg er ganske sikker på at det bare var et spørsmål om tilgang. Datamaskiner var ikke så rimelige (eller tilgjengelige) på 80-tallet. Jeg lærte å programmere på en Commodore 64, men jeg ønsket ikke at mine skaperverk bare skulle leve i en datamaskin. Jeg lærte å wire ting inn i parallellporten, men det var frustrerende og kjedelig. Det var ingen Arduino, ingen raspberry pi, ingen neste dags levering fra Digikey.

Det kuleste jeg bygde på den tiden var en maske med noen datamaskin-styrte blinkende lys som jeg kunne pulserere inn i øynene mine i forskjellige frekvenser. Jeg hadde lagt merke til at min persepsjon ble litt merkelig når jeg så på blinkende LEDs i min lek, så jeg var nysgjerrig på hva som ville skje hvis jeg påvirkede hele min synsfelt på den måten. Det er tydelig at jeg hadde en latent interesse for bevissthet og hjernen-maskin-grensesnitt. Jeg er virkelig nysgjerrig på hva jeg kanskje ville ha bygget hvis jeg hadde hatt tilgang til Muse eller andre hackbare teknologier i dag!

 

Hva var noen av de første robotene du arbeidet på?

Jeg bygde en veldig cool veggløpende robot med noen venner. Den hadde fire sugkopper for hender og en stor sugemage. Den eneste bruken vi kunne tenke oss for den var autonom vindusrengjøring. Det var et super gøy prosjekt som ble mulig takket være de kjære automasjonsleverandørene som ga oss deler når vi ringte dem med en gal ide… men det fungerte faktisk! Prosjektet lærte oss også mye om elektromagnetisk forstyrrelse og styrken på veggen i huset.

Etter det bygde jeg en maler-robot en sommer som malte på en enorm 6×8 vegg-duk med en pensel montert på en mutant Commodore 64-printer. Det var et monster som brukte hver eneste bit av teknologisk avfall jeg kunne finne, inkludert en grilltank, datamus og mine gamle rulleskøyter. Den hadde en webcam fra midten av 90-tallet og forsøkte å tegne hva den så. Det var så latterlig… Jeg savner dens tålmodige, humoristiske personlighet.

Når jeg gjorde min master, bygde jeg en like latterlig robot med noen venner som var så stor som et hus. Vi var interessert i hva som ville skje hvis et bygg endret form og personlighet i respons til menneskene som var i det. Det var super kult… og bygget føltes levende! Det beveget seg og lagde lyd. Du ble så bevisst på deg selv, det føltes som å være i en tom katedral.

 

For over et tiår ble du i praksis en kyborg. Kan du dele historien om hvordan denne reisen begynte?

Da jeg fullførte min bachelorgrad, hadde datamaskiner blitt ganske kapable. Jeg kunne kjøpe en datamaskin som kunne gjøre enkel prosessering av video i 15 bilder per sekund, Linux var nesten installerbart for de uinnvidde. Jeg elsket minnet og hastigheten til datamaskiner, og det ledet meg til å spørre: Hva hvis jeg hadde lignende evner?

Jeg møtte denne professoren på UofT som heter Steve Mann, som var en vill oppfinner, og er fortsatt medlem av InteraXon-rådet i dag. Han gikk rundt med en datamaskin på hodet og sendte laser-bilder inn i øynene sine. Det var akkurat det jeg lette etter! Hvis du elsker verktøy, hva er bedre å gjøre enn å dekke deg selv med dem?

Steve og jeg begynte å jobbe mye sammen. Vi var begge interessert i å utvide vår totale persepsjon. Vi jobbet mye med datavisjon og bygde svært tidlige forsterkede virkelighets-enheter. På mange måter, imponerer de meg fortsatt mer enn den forsterkede virkeligheten som er tilgjengelig i dag. Steve hadde funnet en måte å skape perfekt optisk justering mellom datagrafikk og din naturlige utsikt på verden. Dette tillot oss å gjøre vakre ting som å smelte informasjon fra en fjern-infrarød kamera sammen med din synsfelt.

 

Du skala tilbake dine kyborg-ambisjoner, da det førte til at du distanserte deg fra andre. Kan du dele noen detaljer om denne overgangen i din tankegang?

Jeg hadde forestilt meg en dyp og sammenhengende integrasjon med datateknologi: Informasjon alltid tilgjengelig, umiddelbar kommunikasjon, AI-assistenter og utvidede sanser. Jeg trodde virkelig på at teknologien alltid ville være der, så jeg kunne ha den når jeg trengte den.

Ting endret seg for meg når jeg begynte å kringkaste bilder til en nettside. Et lokalt teleselskap donerte en del mobile telefoner med seriel data-tilkobling til vårt laboratorium på universitetet. Vi kunne langsomt laste opp bilder, omtrent ett hvert par sekunder i lavtidel. Vi startet en utfordring for å se hvem som kunne strømme mest. Det var et super interessant eksperiment. Jeg bar datamaskiner i måneder og strømmet livet mitt til internettet, sikker på å poste hver gang jeg gjorde noe interessant — levde livet mitt gjennom et kamera-utsikt.

Sannheten er at det var spennende å føle at jeg ikke var alene, å poste til en forestilt publikum. Lyder kjent? Vi fikk alle en smak av dagens sosiale medier, 20 år før. Og hva lærte jeg?

Å være fast i en datamaskin, å prøve å koble til andre ved å kringkaste et virtuelt liv, holdt meg borte fra å være til stede med andre… og jeg fant meg selv føle meg mer alene enn noen gang. Vær så god.

Jeg gikk rundt med konstant informasjons-overbelastning med en dataterminal foran ansiktet som signaliserte hver gang en e-post kom inn, og når et bilde ble lastet opp, åpnet en tekst-web-leser med noe jeg forsket på – det var mye.

Selv om jeg var interessert i datamaskiner som hjalp meg å løse problemer, begynte jeg å oppleve mindre frihet av tanke. Jeg følte meg konstant avbrutt, utløst av hva som boblet opp gjennom cyberspace. Jeg oppdaget utfordringen med å holde kontakten med hvem du er og tapet evnen til å stemme inn på din kreative gnist når du alltid er i en tilstand av informasjons-overbelastning.

Jeg var interessert i teknologi som gjorde meg føle meg utvidende, kreativ og uhemmet, men på noen måter, malte jeg meg selv inn i en hjørne med mye av det motsatte.

 

Du gjorde et virkelig bemerkelsesverdig samfunnseksperiment, der brukere over hele Canada kunne bruke sine sinn til å kontrollere lys på CN Tower og Niagara Falls med sine sinn. Kan du beskrive dette?

Dette var en spesiell mulighet vi hadde tidlig i Muse-reisen, under vinter-OL i 2010, i et forsøk på å koble sammen de ulike delene av Canada til den globale begivenheten.

Det er ikke ennå forstått, men vi vet at våre hjernebølger synkroniserer på interessante måter, spesielt når vi gjør ting i en nært forbindelse, som kommuniserer med hverandre, når vi danser eller når vi lager musikk. Hva skjer når du prosjekterer hjernaktiviteten til en enkelt person på en måte som kan oppleves av mange?

Vi skapte en opplevelse hvor mennesker som deltok i lekene på vestkysten av Canada kunne påvirke opplevelsen til tusenvis av mennesker, 3000 mil unna. Ved å bruke en hjerneløsings-enhet, koblet deltakerne sin bevissthet til enorme sanntids-lysanlegg som belyste Niagara Falls, downtown Toronto via CN Tower, og de canadiske parlament-bygningene i Ottawa.

Du satt foran en stor skjerm med en sanntids-utsikt over lysshowet, så du kunne se den levende effekten av ditt sinn i denne større enn liv-opplevelsen. Folk ville ringe opp venner i Toronto og få dem til å se på mens mønsteret av aktivitet i deres hjerne belyste byen med et dramatisk spill av lys.

 

Du har beskrevet Muse som en ‘happy accident’. Kan du dele detaljene bak denne happy accidenten, og hva du lærte fra opplevelsen?

Jeg glemmer ofte skjønnheten i å leke med teknologi, siden å bygge teknologi kan være virkelig kjedelig. Du må bli stiv, men så mye flottstoff skjer når du kan bryte ut patch-kabler, plugge en haug tilfeldig sammen og bare se hva som skjer… akkurat som hvordan Muse ble skapt!

Det første frøet til Muse ble plantet når vi skrev noen kode for å koble til et gammelt medisinsk EEG-system og strømmet data over et nettverk. Vi måtte finne en datamaskin-chassis som støttet ISA-kort og lagde en midlertidig hodebånd. Vi ønsket å få EEG-data som ble matet inn i våre bærbare datamaskiner. Kunne vi laste opp bilder automatisk når vi så noe interessant? Vi hadde hørt at når du lukket øynene dine, ville dine alpha-hjernebølger bli større… kunne dette være hvordan vi sanser om vi var interessert i hva vi så?

Vi hakket sammen noen signalbehandling med noen grunnleggende FFT-spektralanalyse og koblet resultatet til en enkel grafikk som var som en av disse vertikale lys-dimmer-skliene. Enkel idé, men det var en ganske omfattende oppsett. Hva skjedde neste var super interessant. Vi tok tur med å bruke enheten, lukke og åpne øynene våre. Sikker nok gikk skliene opp og ned, men den ville vandre rundt på merkelige måter. Når vi lukket øynene våre, gikk den opp, men ikke helt opp, og den vandret fortsatt rundt… Hva skjedde?

Vi tilbrakte timer med å leke med det, å prøve å forstå hva som gjorde at den vandret rundt og om vi kunne kontrollere den. Vi koblet utgangen til en hørbart lyd, så vi kunne høre den gå opp og ned når vi hadde øynene lukket. Jeg husker å ha sittet der i timer, øynene lukket, og utforsket min bevissthet og lyden.

Jeg oppdaget snart at jeg kunne fokusere min bevissthet på forskjellige måter, endre lyden, men også endre min opplevelse, min persepsjon og måten jeg følte meg. Vi inviterte andre mennesker inn i laboratoriet, og det samme skjedde med dem. De ville lukke øynene og gå inn i en dyp indre utforsking (høres ut som meditasjon, ikke sant?!). Det var vilt – vi glemte helt vår originale idé, for dette var så mye mer interessant. Det var den happy accidenten – jeg kan si at jeg oppdaget meditasjon og mindfulness gjennom teknologi, ved en tilfeldighet!

 

Kan du forklare noen av teknologiene som muliggjør at Muse kan detektere hjernebølger?

Hjernen har milliarder av nerveceller, og hver enkelt nervecelle kobler (i gjennomsnitt) til tusenvis av andre. Kommunikasjon skjer mellom dem gjennom små elektriske strømmer som reiser langs nervecellene og gjennom enorme nettverk av hjerneløkker. Når alle disse nervecellene aktiveres, produserer de elektriske pulser – visualiser en bølge som går gjennom folkemengden på en sportsarena – denne synkroniserte elektriske aktiviteten resulterer i en “hjernebølge”.

Når mange nerveceller samhandler på denne måten samtidig, er denne aktiviteten sterk nok til å bli detektert selv utenfor hjernen. Ved å plassere elektroder på issen, kan denne aktiviteten forsterkes, analyseres og visualiseres. Dette er elektroencefalografi, eller EEG – et fancy ord som bare betyr elektrisk hjernegraf. (Encefalon, hjernen, er avledet fra det gamle greske “enképhalos”, som betyr “innen i hodet”.)

Muse har blitt testet og validerert mot EEG-systemer som er eksponentielt mer dyre, og det brukes av nevroforskere over hele verden i virkelige nevrovitenskapelige undersøkelser både innenfor og utenfor laboratoriet. Ved å bruke 7 finjusterte sensorer – 2 på panen, 2 bak ørene og 3 referansesensorer – er Muse et neste-generasjons, state-of-the-art EEG-system som bruker avanserte algoritmer for å trene nybegynnere og intermediate meditatorer i å kontrollere fokus. Det lærer brukerne hvordan å manipulere deres hjernetilstander og hvordan å endre egenskapene til deres hjerner.

Muse-algoritme-teknologien er mer kompleks enn tradisjonell nevrotilbakemelding. I å lage Muse-appen, startet vi fra disse hjernebølgene og tilbrakte deretter år med intensiv forskning på høyere-ordens kombinasjoner av primære, sekundære og tertiære egenskaper ved rå EEG-data og hvordan de samhandler med fokusert-oppmerksomhet-meditasjon.

 

Hva er noen av de merkbare meditative eller mentale forbedringene du personlig har merket fra å bruke Muse?

Min oppmerksomhet er mer smidig og sterkere. Det høres enkelt ut, men jeg vet hvordan jeg kan slappe av. Jeg forstår mine emosjoner bedre og jeg er mer i harmoni med andre. Det er virkelig livsforandrende.

 

Utenfor mennesker som mediterer, hvilke andre segmenter av befolkningen er ivrige brukere av Muse?

Det er mange biohackere og forskere – noen av dem har gjort noen virkelig flotte ting. Prof. Krigolson fra UVic har brukt Muse i Mars-habitatet, og han har gjennomført eksperimenter på Mount Everest med munkene som bor i klostrene på fjellet. Det er også noen flotte folk på MIT Media Lab som bruker Muse mens de sover for å påvirke drømmer. Så kult.

 

Er det noe annet du ønsker å dele om Muse?

Å gå inn i verden av søvn med vår nyeste produktutgivelse, Muse S, har vært uendelig interessant fra et produkt- og forskningsperspektiv, og veldig spennende når det kommer til de positive anvendelsene Muse kan ha for så mange mennesker som søker å få en bedre natts søvn.

Og jeg elsker personlig hvordan Muse kan gjengi din hjernaktivitet som lyd. Fra år med å studere biosignaler, er det noe jeg aldri har blitt lei av – skjønnheten i disse bølgene som flyter inni oss. Som bølgene i havet, er de uendelig komplekse, men enkle og kjente. Jeg elsker at vi er vakre inni, og jeg elsker utfordringen med å bringe det ut og feire det som lyd og musikk.

Takk for det flotte intervjuet, jeg ser frem til å få tak i Muse, og alle som ønsker å lære mer eller bestille en enhet, bør besøke Muse-nettstedet.

Antoine er en visjonær leder og medgrunnlegger av Unite.AI, drevet av en urokkelig lidenskap for å forme og fremme fremtiden for AI og robotikk. En serial entrepreneur, han tror at AI vil være like disruptiv for samfunnet som elektrisitet, og blir ofte fanget i å prise potensialet for disruptive teknologier og AGI.

Som en futurist, er han dedikert til å utforske hvordan disse innovasjonene vil forme vår verden. I tillegg er han grunnlegger av Securities.io, en plattform som fokuserer på å investere i banebrytende teknologier som definerer fremtiden og omformer hele sektorer.