Bruno Zamborlin, CEO og Chief Scientist i HyperSurfaces – Intervju-serie

Bruno Zamborlin, PhD er en italiensk AI-forsker og entreprenør basert i London, UK.

Som gjesteforsker ved Goldsmiths University, var Bruno en pionér i konseptet om å transformere fysiske objekter til berøringsfølsomme, interaktive overflater ved hjelp av vibrasjonssensorer og kunstig intelligens.

Han er grunnlegger av Mogees Limited, det London-Los Angeles-baserte startup-selskapet hvis produkter gjør det mulig for brukerne å transformere hverdagsobjekter til musikkinstrumenter og spill ved hjelp av en vibrasjonssensor og en mobiltelefon (over 100 000 enheter solgt verden over).

Han har nylig grunnlagt HyperSurfaces, en teknologiplattform som konverterer objekter av alle materialer, former og størrelser til data-aktive, interaktive overflater bare ved hjelp av en vibrasjonssensor og en mynt-størrelse chipset.

Din reise som entreprenør utviklet seg fra din lidenskap for musikk. Kan du dele historien om hvordan du kom opp med konseptet for ditt første startup, Mogees?

Jeg har alltid vært lidenskapelig opptatt av å skape teknologier som er stedsspesifikke, i stand til å utnytte og endre omgivelsene rundt oss, i stedet for å skape noe fra scratch. Jeg gjør ofte dette ved hjelp av “Interaktiv Maskinlæring”, som er en gren av AI som fokuserer på å enable slutbrukeren til å programmere algoritmene selv som de ønsker, i stedet for å bruke AI som en blackbox med hardcoded regler. Dette har vært det felles grunnlaget for mye av mitt arbeid.

Mogees har som mål å demokratisere denne prosessen for lydskaping. Det gjør det mulig for hvem som helst å endre akustiske egenskaper hos fysiske objekter rundt oss for å gjøre dem musikalske. Det består av en liten vibrasjonssensor som du plasserer på objektet du ønsker å spille, og en smartphone-app som omgjør vibrasjonene til musikalsk lyd. Appen gjør det mulig for brukerne å endre akustiske parametre hos det fysiske objektet de spiller, samt å gjenkjenne bestemte gestus. Hvem som helst, fra profesjonelle artister til barn i grunnskolen, kan omprogrammere verden rundt seg for å gjøre den høre ut som de ønsker.

Kan du diskutere opphavet til din andre startup, Hypersurfaces?

Teknologien har revolusjonert mange aspekter av våre liv, fra måten vi kommuniserer med hverandre til måten vi handler, kjører, studerer og så videre.

Den fysiske verden rundt oss har imidlertid ikke utviklet seg like raskt. Tenk på din kjøkkenbord, en skoleklasse, en park; de er fortsatt ganske likt som for 30 år siden.

HyperSurfaces er en teknologi som kan transformere enhver overflate laget av enhver stiv materiale, form og størrelse til en data-aktiv HyperOverflate, i stand til å forstå enhver hendelse som skjer på overflaten og reagere på den deretter, på rett tid. Dette gjøres takket være en liten vibrasjonssensor og en chipset hvor en AI-algoritme kjører lokalt. Tenk på overflater som er klar over når de blir berørt, sveipt, flyttet, truffet, når en væske blir sluppet på dem, osv. og reagerer på slike hendelser deretter.

Og enda mer, med vår skyplattform kan brukerne programmere slike overflater selv på under en time, uten å måtte skrive en enkelt linje med kode. HyperSurfaces er på en måte en naturlig utvidelse av Mogees. Det finnes noen fellesskap, nemlig Interaktiv Maskinlæring og vibrasjoner, selv om disse blir bragt til et nytt nivå.

Hvorfor er det så viktig å utvide ulike overflater for å reagere på menneskelige gestus?

Hvis du tenker på måten våre kropper er designet, er det virkelig unaturlig å tilbringe hele dagen foran en berøringsskjem eller et tastatur og kommunisere med teknologier ved hjelp av bare fingrene. Tenk om teknologien kunne spre seg overalt rundt oss for å forenkle våre interaksjoner med den virkelige verden. Tenk på et gulv som vet når noen faller og får stemmeassistenten til å spørre om du vil ringe etter nødhjelp, eller et vindu som vet om noen bryter inn, et kjøkken som sporer matlagingen (plassering av panner, blandinger, vannkoking, osv.) og kontrollerer apparatene deretter, osv. Eller fremtidens by, i stand til å overvåke kjøretøy og fotgjengere uten å måtte bruke invasive kameraer og mikrofoner. Nå skal dette skaleres opp til en hel skog, med solcelle-drevne hyper-trær i stand til å kommunisere når det er brann, eller ulovlig jakt, osv. Til mange mer kunstneriske anvendelser, som trær i en park som høydepunkter seg selv forskjellig basert på hvor mange mennesker som har omfavnet dem den dagen. Eksemplene er endeløse.

Kan du forklare maskinlæringsteknologien som brukes til å tolke vibrasjonsmønster som menneskelige gestus og konvertere dem til enhver digital kommando?

Vi bruker standard, billig maskinvare: en mynt-størrelse vibrasjonssensor og en chipset, som skapere kan plassere på eller under overflaten de ønsker å utvide. Når en hendelse skjer på en slik overflate, blir den tilhørende vibrasjonen fanget og sendt til chipsettet, hvor vår algoritme tolker den. Hvis den svarer til en av hendelsene algoritmen er forhåndstrænet med, genereres en tilhørende melding. Slike meldinger kan brukes enten lokalt, for eksempel når de er koblet til et sentral system i et kjøretøy, eller en smart assistent, eller en ad-hoc Raspberry Pi, osv., eller sendes til skyen.

Designere kan bruke vår skybaserte plattform til å definere hvilke hendelser de ønsker; plattformen genererer automatisk firmware som lastes ned på chipsettet, ingen enkelt linje med kode trenger å skrives.

Hva er noen av bruksområdene for denne teknologien i detaljhandelen?

Til tross for den nåværende situasjonen, er det mye oppmerksomhet rundt fremtidens detaljhandel nå. Den må være forskjellig fra e-handel, i stand til å tilby en ekte opplevelse.

Designere har eksperimentert med HyperSurfaces for å skape interaktive produkter som viser digitalt innhold basert på hvordan besøkende interagerer med et bestemt produkt, og tilbyr både en fysisk og digital opplevelse samtidig.

HyperSurfaces kan brukes i ulike anvendelser, hva er noen av anvendelsene du personlig tror har en høy sannsynlighet for å bli populære?

Med tanke på den nåværende situasjonen, er det mye oppmerksomhet rundt smarte hjem-anvendelser. Hvis disse er fri for kameraer og mikrofoner, og data blir prosessert lokalt, så er det enda bedre.

Men det finnes mange andre anvendelser vi vil se svært snart.

Hva type data kan samles inn fra HyperSurfaces?

Veldig mye. Vi kan dele dem inn i tre brede kategorier: menneskelige interaksjoner (som å berøre noe), akustiske hendelser (som vann som koker) og feilforebygging (som å oppdage lyden av en motor før den går i stykker). For hver av disse kategoriene er HyperSurfaces i stand til å fortelle flere egenskaper samtidig, fra intensiteten av hendelsen til typen materiale som brukes til å utløse interaksjonen, og mye mer.

Hvordan kan AI-modeller bruke denne dataen til å oppdage bestemte hendelser mens de skjer i sanntid?

Vi har utviklet en virkelig “univers” av vibrasjonshendelser innspilt over hundrevis av overflater av alle slag. Vibrasjoner er en usedvanlig rik type informasjon å arbeide med.

Når man bruker vår plattform, kan brukerne innspille en usedvanlig liten mengde observasjoner for hver hendelse de ønsker å definere, fordi vår AI er i stand til å trekke ut så mye informasjon fra dem takket være dette “universet” vi har bygget.

Til slutt, kan du fortelle oss hvorfor du valgte å studere datavitenskap?

Jeg har vært fascinert av matematikk siden jeg var 4. For meg er det hovedverktøyet til å beskrive verden vi lever i, fritt fra de fordommene språk medfører. Når jeg kjøpte min første datamaskin, lærte jeg at gjennom datavitenskap var det mulig å bruke matematikk til å modifisere en slik verden på ulike måter. Jeg ser på sensorer som et par øyne som fanger hva som er i verden, og algoritmer som en pensel som trekker ut noe nytt fra den.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke HyperSurfaces.