Bruno Zamborlin, CEO en Chief Scientist bij Hypersurfaces – Interview Serie

Bruno Zamborlin, PhD is een Italiaanse AI-onderzoeker en ondernemer gevestigd in Londen, VK.

Als onderzoeker aan de Goldsmiths University, baanbrekend Bruno het concept van het transformeren van fysieke objecten in aanraakgevoelige, interactieve oppervlakken met behulp van trillingsensoren en Artificial Intelligence.

Hij is de oprichter van Mogees Limited, het in Londen-Los Angeles gevestigde start-upbedrijf wiens producten gebruikers in staat stellen om alledaagse objecten om te zetten in muziekinstrumenten en spellen met behulp van een trillingsensor en een mobiele telefoon (meer dan 100.000 eenheden verkocht wereldwijd).

Hij heeft onlangs HyperSurfaces opgericht, een technologieplatform dat objecten van elk materiaal, vorm en formaat omzet in gegevensgestuurde, interactieve oppervlakken met behulp van een trillingsensor en een muntgrote chipset.

Uw reis als ondernemer ontwikkelde zich vanuit uw passie voor muziek. Kunt u het verhaal vertellen over hoe u op het idee kwam voor uw eerste start-up Mogees?

Ik ben altijd gepassioneerd geweest door het idee om technologieën te creëren die site-specifiek zijn, in staat om de omgeving om ons heen te benutten en te veranderen in plaats van iets van scratch te creëren. Ik doe dit vaak met behulp van ‘Interactieve Machine Learning’, een tak van AI die zich richt op het mogelijk maken voor de eindgebruiker om de algoritmes zelf te programmeren zoals ze willen, in plaats van AI te gebruiken als een blackbox met hardcoded regels. Dit is de gemeenschappelijke grond in de meeste van mijn werk.

Mogees heeft als doel dit proces te democratiseren voor geluidcreatie. Het stelt iedereen in staat om de akoestische eigenschappen van fysieke objecten om ons heen te veranderen om ze muzikaal te maken. Het bestaat uit een kleine trillingsensor die u op het object plaatst dat u wilt afspelen en een smartphone-app, die de trillingen omzet in muziekgeluid. De app stelt gebruikers in staat om de akoestische parameters van het fysieke object dat ze afspelen te veranderen, evenals specifieke gebaren te herkennen. Iedereen, van professionele uitvoerders tot basisschoolkinderen, kan de wereld om hen heen herprogrammeren om te laten klinken zoals ze willen.

Kunt u de oorsprong van uw tweede start-up Hypersurfaces bespreken?

Technologie heeft veel aspecten van ons leven gerevolutioneerd, van de manier waarop we met elkaar communiceren tot de manier waarop we winkelen, rijden, studeren enz.

De fysieke wereld om ons heen is echter niet op hetzelfde tempo geëvolueerd. Denk aan uw keukentafel, een schoolklaslokaal, een park; ze zijn nog steeds vrijwel hetzelfde als 30 jaar geleden.

HyperSurfaces is een technologie die elk oppervlak van elk materiaal, vorm en formaat kan omzetten in een gegevensgestuurd HyperSurface, in staat om elk evenement dat op het oppervlak plaatsvindt te begrijpen en te reageren op het juiste moment. Dit doet het met behulp van een kleine trillingsensor en een chipset waarop een AI-algoritme lokaal draait. Denk aan oppervlakken die weten wanneer ze worden aangeraakt, weggeschoven, verplaatst, geraakt, wanneer een vloeistof op hen wordt gedruppeld, enz. en reageren op dergelijke evenementen dienovereenkomstig.

En nog meer, met onze cloudplatform kunnen gebruikers dergelijke oppervlakken programmeren in minder dan een uur, zonder dat ze één regel code hoeven te schrijven. HyperSurfaces is op een bepaalde manier een natuurlijke uitbreiding van Mogees. Er zijn enkele overeenkomsten, namelijk Interactieve Machine Learning en trillingen, hoewel deze naar een hoger niveau worden gebracht.

Waarom is het zo belangrijk om verschillende oppervlakken te verrijken om te reageren op menselijke gebaren?

Als u nadenkt over de manier waarop onze lichamen zijn ontworpen, is het echt onnatuurlijk om de hele dag voor een touchscreen of toetsenbord te zitten en te communiceren met technologieën met alleen onze vingers. Stel u voor dat technologie overal om ons heen aanwezig kan zijn om onze interacties met de echte wereld te vereenvoudigen. Stel u een vloer voor die weet wanneer iemand valt en de spraakassistent vraagt of u een noodgeval wilt bellen, of een raam dat weet wanneer iemand inbreekt, een keuken die kookacties volgt (potten plaatsen, mengen, water koken, enz.) en apparaten dienovereenkomstig controleert, enz. Of de stad van de toekomst, die in staat is om voertuigen en voetgangers te monitoren zonder dat er invasieve camera’s en microfoons nodig zijn. Schaal dit op naar een heel bos, met zonnepanelen die hyperbomen kunnen communiceren wanneer er een brand is, of stroperij, enz. Tot meer artistieke toepassingen, zoals bomen in een park die zichzelf op een andere manier laten zien op basis van het aantal mensen dat hen die dag heeft omhelsd. De voorbeelden zijn eindeloos.

Kunt u uitgebreider ingaan op de machine learning-technologie die wordt gebruikt om trillingspatronen zoals menselijke gebaren onmiddellijk te interpreteren en om te zetten in elk digitaal commando?

We gebruiken standaard goedkope hardware: een muntgrote trillingsensor en een chipset, die creators kunnen plaatsen op of onder het oppervlak dat ze willen verrijken. Wanneer een evenement plaatsvindt op een dergelijk oppervlak, wordt de overeenkomstige trilling vastgelegd en naar de chipset gestuurd, waar ons algoritme het interpreteert. Als het overeenkomt met een van de evenementen waarvoor het algoritme is getraind, wordt een overeenkomstig bericht gegenereerd. Dergelijke berichten kunnen lokaal worden gebruikt, bijvoorbeeld wanneer ze zijn verbonden met het centrale systeem van een voertuig, een slimme assistent of een ad-hoc Raspberry Pi, enz., of naar de cloud worden gestuurd.

Ontwerpers kunnen onze cloudgebaseerde platform gebruiken om elk aantal evenementen te definiëren dat ze willen; het platform genereert automatisch de firmware die vervolgens op de chipset wordt geladen, zonder dat er één regel code hoeft te worden geschreven.

Wat zijn enkele van de toepassingen van deze technologie in de detailhandel?

Ondanks de huidige situatie is er veel aandacht voor de toekomst van de detailhandel. Het moet op een bepaalde manier anders zijn dan e-commerce, in staat om een echte ervaring te bieden.

Ontwerpers hebben geëxperimenteerd met HyperSurfaces om interactieve producten te creëren die digitale inhoud weergeven op basis van hoe bezoekers met een bepaald product omgaan, waardoor zowel een fysieke als een digitale ervaring tegelijkertijd mogelijk is.

HyperSurfaces kan op verschillende manieren worden toegepast, welke toepassingen denkt u dat een grote kans hebben om populair te worden?

Gezien de huidige situatie is er veel aandacht voor slimme huisapplicaties. Als die camera-vrij en microfoon-vrij zijn en de gegevens lokaal worden verwerkt, is dat nog beter.

Maar er zijn veel andere toepassingen die we binnenkort zullen zien.

Wat voor soort gegevens kan worden verzameld van HyperSurfaces?

Een heleboel. We kunnen ze onderverdelen in drie brede categorieën: menselijke interacties (zoals iets aanraken), akoestische evenementen (zoals water koken) en storingen (zoals het detecteren van het geluid van een motor voordat deze kapot gaat). Voor elk van deze categorieën kan HyperSurfaces meerdere eigenschappen tegelijk vertellen, van de intensiteit van het evenement tot het type materiaal dat wordt gebruikt om de interactie te veroorzaken, en veel meer.

Hoe kunnen AI-modellen deze gegevens gebruiken om specifieke evenementen te detecteren terwijl ze in real-time plaatsvinden?

We hebben een echte ‘universum’ van trillingsgebeurtenissen ontwikkeld die zijn opgenomen op honderden oppervlakken van alle soorten. Trillingen zijn een ongelooflijk rijke soort informatie om mee te werken.

Wanneer u onze platform gebruikt, kunnen gebruikers een ongelooflijk klein aantal observaties opnemen voor elk evenement dat ze willen definiëren, omdat onze AI in staat is om zo veel informatie uit hen te halen dankzij dit ‘universum’ dat we hebben gebouwd.

Tenslotte, kunt u ons vertellen waarom u hebt besloten om informatica te studeren?

Ik ben al sinds mijn vierde gefascineerd door wiskunde. Voor mij is het het belangrijkste instrument om de wereld waarin we leven te beschrijven, vrij van de vooroordelen die taal met zich meebrengt. Toen ik mijn eerste computer kocht, leerde ik dat het via informatica mogelijk was om wiskunde te gebruiken om zo’n wereld op verschillende manieren te veranderen. Ik zie sensoren als een paar ogen om te zien wat er in de wereld is en algoritmes als een borstel die iets nieuws uit het extract.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten HyperSurfaces bezoeken.