Matteo Shapira, medgrunnlegger og CXO i XTEND – Intervju-serie

Matteo Shapira er medgrunnlegger og CXO i XTEND, en revolusjonerende telepresence-plattform som muliggjør at mennesker kan utvide seg virtuelt til handling via et menneske-sentrert maskin-interfasemodell. Modellen kombinerer både menneskers og maskiners beste egenskaper for å utføre disruptive, komplekse oppgaver.

Kunne du begynne med å forklare hvordan Xtended Reality (XR) skiller seg fra eller kombinerer virtuell, forbedret eller blandet virkelighet?

Hos XTEND lar vi brukerne «teleportere» til en fjernlokasjon. Denne telepresensen er ikke nødvendigvis en «virtuell virkelighet», men heller en reell virkelighet, hvor brukerne kan utføre forskjellige profesjonelle eller hobby-aktiviteter. Vi omtaler dette som «XR» eller «XTENDED REALITY» siden det lar brukerne raskt og intuitivt utvide seg til en fjernlokasjon. Vi bruker Augmented Reality-teknologi for å presentere romlige 3D-grafikker på toppen av brukerens visning for å forbedre og muliggjøre opplevelsen (f.eks. kan en arkitekt se bygningens design; et barn kan se Star Wars-lignende butikker integrert i deres lokale miljø; en soldat kan se data om slagmarken)

Din tidligere startup, Replay Technologies, ble til slutt kjøpt opp av Intel (INTC ). Kunne du beskrive teknologien du banebrytende på Replay Technologies?

Hos Replay utviklet vi en Emmy-prisvinnende Volumetric Video-format og -teknologi kalt «freeD». FreeD fungerte ved å fange virkeligheten med tredimensjonale voxler i stedet for todimensjonale piksler som vanlige videoformater. Teknologien ble brukt av de fleste store idrettsligene globalt (NBA, NFL, MLB, Euro Soccer, US Open og mer) for å lage 360-grader-replays – og skapte illusjonen av en kamera hvor det ikke var noen fysisk kamera. Våre begynnelse på Replay inspirerte konseptet om «telepresence» – siden vi kunne la brukeren «teleportere» seg rett inn i idrettsarenaen og løpe rundt med sine favoritt-spillere. Bortsett fra at med XTEND gjør vi dette via droner.

Hva er bakgrunnsfortellingen bak XTEND?

XTEND ble født ut av Replay og senere solgt til Intel Sports da grunnleggerne Aviv og Matteo bestemte seg for å gå videre til nye eventyr. Brødrene møtte Rubi Liani, grunnlegger av den israelske Drone Racing League (FRIL | DRL) og Adir Tubi (en forsvarsspesialist), hvor de oppdaget at i forhold til U(X) ligner droner på hva datamaskiner var 30-40 år siden. Det var ingen enkel måte å oppleve denne «virkeligheten» med brukervennlighet eller en moderne immersiv opplevelse; bare «geeker» kunne tilpasse og operere dem effektivt.

XTEND bestemte seg for å endre all dette. De bestemte seg for at forsvar skulle være det første markedet å penetrere, og hjelpe soldater, politi og førstehjelpere å svare på plikten. Teknologien lar nevnte operatører utføre oppgavene sine via en flyvende maskin, som dramatisk reduserer risikoen for menneskeliv (*se lenken til «før | etter»-klipp av XTEND i forskjellige disruptive økosystemer). XTENDs første proof of concept (POC) var et system kalt SKYLORD HUNTER. Det viste seg å være en game-changer i feltet luftintersepsjon, da det tillot enhver soldat som patruljerte den sørlige Gazastripen å lett interceptere enhver trussel som kom fra himmelen (droner, brennende ballonger osv.) effektivt og effektivt.

Hvordan vil XR-plattformen muliggjøre at en bruker kan kontrollere en rekke autonome roboter?

Ideen bak XTEND er game-changing. I stedet for å ha et fullstendig automatisk «team» av autonome roboter som utfører fullstendig uavhengige oppgaver, sikter vi på å integriere mennesker og maskiner for å assimilere begges beste fordeler. I stedet for å erstatte mennesker med team av autonome maskiner, utvikler vi et menneske-sentrert maskin-operativsystem som lar oss enkelt grensesnitt og «teleportere» inn i en fjern virkelighet og utføre forskjellige funksjoner. En del av dette operativsystemets kjernekapasitet er å kunne «multi-presence» – det vil si kontrollere flere maskiner samtidig. For eksempel: Tenk på et team av 10 brannslukningsdroner som ankommer et katastrofeområde, og lar en enkelt brannmann enkelt switch mellom dem for å kontrollere brannen og redde overlevende. Hver drone (eller «node») kan ha forskjellige ferdigheter/verktøy som å bryte et vindu, slippe ned en brannhemmende, kommunisere med ofre, sende data inn i et kompleks bygg og mer…

Kan du diskutere noen maskinlærings- eller andre teknologier som muliggjør opplevelsen av fjern virkeligheter?

Vi bruker hovedsakelig maskinlæring for å assistere dronene i «transparent» og nøyaktig miljøagnostisk navigasjon. For at en drone skal kunne operere uhindret og nøyaktig i enhver miljø (innen, ute, lys, mørk, kompleks, enkel), må maskinen «lære seg» å oppføre seg nøyaktig i uforutsigbare og dynamiske situasjoner. Vi utvikler en rekke algoritmer for å muliggjøre slik nøyaktig menneske-sentrert maskin-operativitet (hvor personen er agnostisk til enhver begrensning eller operasjon av maskinen – de er «transparente» for dem på samme måte som et operativsystem skjuler alle sine interne prosesser fra brukeren)

Additionally, vår teknologi bruker hva vi kalte «stacked AI-lag», som lar dronene «betjene» den menneskelige operatøren bak scenen: Fra baneprediksjon og kollisjonsunngåelse til å muliggjøre «barn-noder» i en swarm-lag for å følge lederen og patruljere effektivt.

XTENDs første produktlansering er SKYLORD, som hjelper militæret og førstehjelpere. Kan du diskutere hva SKYLORD er og hva som gjør det så disruptivt?

SKYLORD er en revolusjonerende plattform. Den lar enhver ikke-profesjonell drone-operatør enkelt og nøyaktig bruke et verktøysett av droner. Denne teknologien reduserer effektivt risikoen og tapet av menneskeliv på slagmarken, da en fysisk tilstedeværelse ikke er nødvendig. I dag er droner enten 100% autonome eller svært vanskelige for en bruker å operere effektivt. XTENDs teknologi gjør det enkelt å bruke taktiske droner. For eksempel, hvorfor storme et hus med terrorister hvis en drone kan utføre samme oppgave som om operatøren var der fysisk? Teknologien utvikles kontinuerlig for å maksimere potensialet av AI og SWARM-baserte teknologier for å la en enkelt operatør kontrollere et team av droner med forskjellige laster og evner med et menneske-sentrert tilnærming.

Hva er noen av de potensielle spillapplikasjonene av XTEND-teknologien?

Potensialet er enormt. I dag, hvis vi kjøper en drone for å fly rundt, er det virtuelt ubrukelig, og for å nå Drone Racing League (DRL)-nivåer, kreves det år med trening. Vi muliggjør en XR-opplevelse «out-of-the-box», som lar noen spille spennende, reelle first-person-view-spill uten å måtte bli dyktig i å operere en drone. Dette potensialet kan muliggjøre nye typer temaparker og nye måter å ha casual moro ute – til nye interaktive fjern-turismeformer.

Er det noe annet du ville like å dele om XTEND?

Det nye konseptet om å kombinere mennesker med maskiner presenterer mange spennende muligheter. Uansett om det er å skape en rask byvid first responder-flåte eller å muliggjøre neste generasjon av GoPro-lignende teknologi, XTENDs ultimate mål forblir det samme. Vi streber etter å konstruere en virkelighet hvor hver enkelt av oss kan være hvor som helst, på et gitt øyeblikk, og samhandle fullstendig med den fjernmiljøet.

Takk for intervjuet, dette høres ut som det kunne potensielt være en game-changing teknologi. Lesere som ønsker å lære mer bør besøke XTEND .