Matteo Shapira, mede-oprichter en CXO van XTEND – Interviewreeks

Matteo Shapira is de mede-oprichter en CXO van XTEND, een revolutionaire telepresence-platform die mensen in staat stelt om zich virtueel uit te breiden in actie via een mensgericht machine-interface-model. Het model combineert de beste kwaliteiten van zowel mensen als machines om disruptieve, complexe taken uit te voeren.

Kunt u beginnen met uit te leggen hoe Xtended Reality (XR) verschilt of samensmelt met virtuele, verbeterde of gemengde realiteit?

Bij XTEND laten we gebruikers ‘teleporteren’ naar een afgelegen locatie. Deze telepresence is niet noodzakelijkerwijs een ‘virtuele realiteit’, maar eerder een echte realiteit, waarin gebruikers verschillende professionele of hobby-activiteiten kunnen uitvoeren. We verwijzen hier naar als ‘XR’ of ‘XTENDED REALITY’, omdat het gebruikers in staat stelt om zich snel en intuïtief uit te breiden naar een afgelegen locatie. We gebruiken Augmented Reality-technologie om ruimtelijke 3D-graphics weer te geven bovenop het zicht van de gebruiker om de ervaring te verbeteren en te empoweren (bijv. een architect kan het ontwerp van het gebouw zien; een kind kan Star-Wars-achtige winkels geïntegreerd in hun lokale omgeving zien; een soldaat kan gegevens over het slagveld zien)

Uw voorgaande startup, Replay Technologies, werd uiteindelijk overgenomen door Intel (INTC ). Kunt u de technologie beschrijven die u bij Replay Technologies heeft ontwikkeld?

Bij Replay hebben we een Emmy-award winnende Volumetric Video-formaat en -technologie ontwikkeld, genaamd ‘freeD’. FreeD werkte door de realiteit te capteren met driedimensionale voxel in plaats van tweedimensionale pixels zoals reguliere videoformaten. De technologie werd gebruikt door de meeste grote sportcompetities wereldwijd (NBA, NFL, MLB, Euro Soccer, US Open en meer) om 360-replays te creëren – waardoor de illusie van een camera ontstond waar geen fysieke camera was. Onze beginjaren bij Replay inspireerden het concept van “telepresence” – aangezien we de gebruiker in staat stelden om zichzelf ‘teleporteren’ recht in het sportstadion en rond te rennen met hun favoriete teamspelers. Behalve dat we bij XTEND dit doen via drones.

Wat is het verhaal achter XTEND?

XTEND is ontstaan uit Replay en later verkocht aan Intel Sports toen de oprichters Aviv en Matteo besloten om verder te gaan met nieuwe ondernemingen. De broers ontmoetten Rubi Liani, oprichter van de Israëlische Drone Racing League (FRIL | DRL) en Adir Tubi (een defensiespecialist), waar ze ontdekten dat drones qua UX overeenkomen met wat computers 30-40 jaar geleden waren. Er was geen eenvoudige manier om deze ‘realiteit’ te ervaren met gemak en een moderne immersive ervaring; alleen ‘geeks’ konden ze aanpassen en effectief bedienen.

XTEND zette zich ten doel om dit allemaal te veranderen. Ze besloten dat defensie de eerste markt moest zijn die ze moesten betreden, om soldaten, politie en eerstehulpverleners te helpen hun plicht te vervullen. De technologie stelt genoemde operators in staat om hun taken uit te voeren via een vliegende machine, wat het risico voor het menselijk leven aanzienlijk vermindert (*zie de link naar “voor | na” clips van XTEND in verschillende disruptieve ecosystemen). XTEND’s eerste proof of concept (POC) was een systeem genaamd SKYLORD HUNTER. Het bleek een game-changer te zijn in het veld van luchtinterceptie, aangezien het elke soldaat die de zuidelijke Gazastrook patrouilleerde in staat stelde om elke dreiging die vanuit de lucht kwam (drones, brandbommen, enz.) gemakkelijk en effectief te onderscheppen.

Hoe zal het XR-platform een gebruiker in staat stellen om een reeks autonome robots te bedienen?

Het idee achter XTEND is baanbrekend. In plaats van een volledig geautomatiseerd ‘team’ van autonome robots die volledig onafhankelijke taken uitvoeren, streven we ernaar om mensen en machines te integreren om de beste voordelen van beide entiteiten te combineren. In plaats van mensen te vervangen door teams van autonome machines, ontwikkelen we een Human-Centric Machine Operating System dat ons in staat stelt om gemakkelijk te interface-en en ‘teleporteren’ naar een afgelegen realiteit en verschillende functies uit te voeren. Onderdeel van deze OS’s core-capaciteit is om ‘multi-presence’ te kunnen – dat wil zeggen, meerdere machines tegelijk te bedienen. Bijvoorbeeld: stel je een team van 10 brandweerdrone voor die een rampenterrein bereiken, waardoor een enkele menselijke brandweeragent gemakkelijk tussen hen kan schakelen om het vuur te bestrijden en overlevenden te redden. Elke drone (of “node”) kan verschillende vaardigheden/hulpmiddelen hebben, zoals een raam breken, een brandwerend middel droppen, communiceren met slachtoffers, gegevens doorgeven in een complex gebouw en meer…

Kunt u enkele machine learning- of andere technologieën bespreken die de ervaring van afgelegen realiteiten mogelijk maken?

We gebruiken voornamelijk machine learning om de drones te helpen bij ‘transparante’ en nauwkeurige omgevingsagnostische navigatie. Om een drone te laten functioneren op een naadloze en nauwkeurige manier in elke omgeving (binnen, buiten, licht, donker, complex, eenvoudig), moet de machine ‘zichzelf leren’ om nauwkeurig te functioneren in onvoorspelbare en dynamische situaties. We ontwikkelen een reeks algoritmen om een dergelijke nauwkeurige human-centrische machine-operabiliteit mogelijk te maken (waar de persoon ongevoelig is voor eventuele beperkingen of operaties van de machine – ze zijn ‘transparant’ voor hen op dezelfde manier als een besturingssysteem alle interne processen voor de gebruiker maskeert)

Onze technologie gebruikt ook wat we ‘gestapelde AI-lagen’ noemen, waardoor drones ‘achter de schermen’ de menselijke operator kunnen ‘bedienen’: van padvoorspelling en botsingvermijding tot het mogelijk maken van ‘kindknooppunten’ in een swarmploeg om effectief te patrouilleren en te volgen.

XTEND’s eerste productlancering is SKYLORD, die het leger en eerstehulpverleners ondersteunt. Kunt u SKYLORD beschrijven en wat het zo disruptief maakt?

SKYLORD is een revolutionaire platform. Het stelt elke niet-professionele drone-operator in staat om gemakkelijk en nauwkeurig een set drones te gebruiken. Deze technologie vermindert effectief het risico en de verlies van menselijk leven op het slagveld, aangezien een fysieke aanwezigheid niet nodig is. Vandaag de dag zijn drones ofwel 100% autonoom of zeer moeilijk voor een gebruiker om effectief te bedienen. XTEND’s technologie maakt het gebruik van tactische drones een fluitje van een cent. Waarom zou je bijvoorbeeld een huis bestormen met terroristen als een drone dezelfde taak kan uitvoeren alsof de operator er fysiek aanwezig was? De technologie evolueert voortdurend om het potentieel van AI en SWARM-gebaseerde technologieën te maximaliseren, waardoor een enkele operator een team van drones met verschillende ladingen en mogelijkheden kan bedienen met een human-centrische benadering in plaats van een volledig autonome benadering.

Wat zijn enkele van de potentiële gaming-toepassingen van XTEND-technologie?

Het potentieel is enorm. Vandaag de dag, als we een drone kopen om rond te vliegen, is het vrijwel nutteloos, en om het niveau van opwinding van de Drone Racing League (DRL) te bereiken, zijn jarenlange oefening nodig. We bieden een XR-ervaring ‘out-of-the-box’, waardoor iedereen spannende echte leven-first-person-view-games kan spelen zonder dat ze eerst moeten leren om een drone te bedienen. Dit potentieel kan nieuwe soorten themaparkattracties en nieuwe manieren om buiten te spelen mogelijk maken – tot nieuwe interactieve vormen van remote-toerisme.

Is er nog iets anders dat u over XTEND wilt delen?

Het nieuwe concept van het combineren van mensen met machines biedt veel spannende mogelijkheden. Of het nu gaat om het creëren van een snelle stadswide eerstehulpvloot of het mogelijk maken van de volgende generatie GoPro-achtige technologie, XTEND’s uiteindelijke doel blijft hetzelfde. We streven ernaar om een realiteit te creëren waarin elk van ons overal kan zijn, op elk gegeven moment, en volledig kan interacteren met die afgelegen omgeving.

Bedankt voor het interview, dit klinkt als een potentieel baanbrekende technologie. Lezers die meer willen leren, moeten XTEND bezoeken.