Matteo Shapira, medgrundare och CXO på XTEND – Intervjuserie

Matteo Shapira är medgrundare och CXO på XTEND, en revolutionerande telepresensplattform som möjliggör för människor att virtuellt utöka sig till handling via en mänsklig-centrerad maskingränssnittsmodell. Modellen kombinerar både människors och maskiners bästa egenskaper för att utföra disruptiva, komplexa uppgifter.

Kan du börja med att förklara hur Xtended Reality (XR) skiljer sig från eller kombinerar virtuell, förstärkt eller blandad verklighet?

På XTEND låter vi användarna “teleportera” till en fjärrplats. Denna telepresens är inte nödvändigtvis en “virtuell verklighet” utan snarare en verklig verklighet, där användare kan utföra olika professionella eller hobbyaktiviteter. Vi kallar detta för “XR” eller “XTENDED REALITY” eftersom det låter användarna snabbt och intuitivt utöka sig till en fjärrplats. Vi använder förstärkt verklighetsteknologi för att presentera rumsliga 3D-grafiker ovanpå användarens vy för att förbättra och ge kraft åt upplevelsen (t.ex. kan en arkitekt se byggnadens design; ett barn kan se Star Wars-liknande butiker integrerade i sin lokala miljö; en soldat kan se data om slagfältet)

Din tidigare startup, Replay Technologies, förvärvades slutligen av Intel (INTC ). Kan du beskriva den teknik som du banade väg för på Replay Technologies?

På Replay utvecklade vi en Emmy-vinnande volymetrisk videoformat och teknik som kallades “freeD”. FreeD fungerade genom att fånga verkligheten med tredimensionella voxlar istället för tvådimensionella pixlar som vanliga videoformat. Tekniken användes av de flesta stora idrottsligor globalt (NBA, NFL, MLB, Euro Soccer, US Open och mer) för att skapa 360-replay – och skapa illusionen av en kamera där det inte fanns någon fysisk kamera. Våra början på Replay inspirerade konceptet “telepresens” – eftersom vi kunde låta användaren “teleportera” sig rakt in i idrottsarenan och springa runt med sina favoritspelare. Förutom att vi med XTEND gör detta via drönare.

Vad är ursprunget till XTEND?

XTEND föddes ur Replay och såldes senare till Intel Sports när grundarna Aviv och Matteo beslutade att gå vidare till nya företag. Bröderna mötte Rubi Liani, grundare av den israeliska drönarligan (FRIL | DRL) och Adir Tubi (en försvarsspecialist), där de upptäckte att drönare liknar vad datorer var för 30-40 år sedan. Det fanns ingen enkel väg att uppleva denna “verklighet” med lätthet att använda eller en modern immersiv upplevelse; endast “nördar” kunde anpassa och operera dem effektivt.

XTEND satte ut att förändra allt detta. De beslutade att försvar skulle vara den första marknaden att tränga in i, och hjälpa soldater, poliser och första svarare att svara på samtal. Tekniken låter operatörerna utföra sina uppgifter via en flygande maskin, som drastiskt minskar risken för mänskliga liv (*se länken till “före | efter” klipp av XTEND i olika disruptiva ekosystem). XTEND:s första bevis för koncept (POC) var ett system som kallades SKYLORD HUNTER. Det visade sig vara en spelväxlare inom luftinterception, eftersom det tillät varje soldat som patrullerade den södra Gazaremsan att enkelt interceptera varje hot som kom från himlen (drönare, brandballonger etc.) effektivt och effektivt.

Hur kommer XR-plattformen att möjliggöra för en användare att kontrollera en mängd olika autonoma robotar?

Idén bakom XTEND är spelväxlare. Istället för att ha ett fullständigt automatiserat “lag” av autonoma robotar som utför fullständigt oberoende uppgifter, syftar vi till att integrera människor och maskiner för att assimilera båda entiteternas bästa fördelar. Istället för att ersätta människor med lag av autonoma maskiner, utvecklar vi ett mänskligt-centrerat maskinoperativsystem som låter oss enkelt gränssnitt och “teleportera” in i en fjärrverklighet och utföra olika funktioner. En del av detta operativsystem är att kunna “multi-presence” – det vill säga kontrollera flera maskiner samtidigt. Till exempel: Tänk på ett lag av 10 brandbekämpningsdrönare som når en katastrofplats, och låter en ensam brandman enkelt växla mellan dem för att kontrollera branden och rädda överlevande. Varje drönare (eller “nod”) kan ha olika färdigheter och verktyg, såsom att bryta ett fönster, släppa ett brandhämmare, kommunicera med offer, vidarebefordra data inom ett komplext hus och mer…

Kan du diskutera någon maskinlärning eller annan teknik som möjliggör upplevelsen av fjärrverkligheter?

Vi använder huvudsakligen maskinlärning för att hjälpa drönarna med “transparent” och exakt miljöagnostisk navigation. För att en drönare ska kunna fungera smidigt och exakt i alla miljöer (inomhus, utomhus, ljust, mörkt, komplext, enkelt), måste maskinen “lära sig” att bete sig exakt i oförutsägbara och dynamiska situationer. Vi utvecklar en mängd algoritmer för att möjliggöra exakt mänskligt-centrerad maskinoperativitet (där personen är omedveten om eventuella begränsningar eller operationer av maskinen – de är “transparenta” för dem på samma sätt som ett operativsystem döljer alla sina interna processer för användaren)

Dessutom använder vår teknik vad vi kallar “lager av AI-lager”, som låter drönare “serva” den mänskliga operatören i bakgrunden: Från vägprediktion och kollisionsundvikande till att möjliggöra “barn-noder” i en svärmteam för att följa ledaren och patrullera effektivt.

XTEND:s initiala produktlansering är SKYLORD, som hjälper militären och första svarare. Kan du diskutera vad SKYLORD är och vad som gör det så disruptivt?

SKYLORD är en revolutionerande plattform. Den låter varje icke-professionell drönaroperatör enkelt och exakt använda ett verktygssortiment av drönare. Denna teknik minskar effektivt risken och förlusten av mänskligt liv på slagfältet, eftersom en fysisk närvaro inte krävs. Idag är drönare antingen 100% autonoma eller mycket svåra för en användare att operera effektivt. XTEND:s teknik gör det möjligt att använda taktiska drönare utan problem. Till exempel, varför storma ett hus med terrorister om en drönare kan utföra samma uppgift som om operatören var där fysiskt? Tekniken utvecklas kontinuerligt för att maximera potentialen för AI och SWARM-baserad teknik för att låta en ensam operatör effektivt kontrollera ett lag av drönare med olika laster och förmågor med ett mänskligt-centrerat snarare än ett fullständigt autonomt tillvägagångssätt.

Vilka är några av de potentiella speltillämpningarna av XTEND-tekniken?

Potentialen är enorm. Idag, om vi köper en drönare för att flyga runt, är den i princip värdelös, och för att uppnå Drone Racing League (DRL)-nivåer krävs det år av övning. Vi möjliggör en XR-upplevelse “out-of-the-box”, som låter vem som helst spela spännande verkliga livs första-person-vy-spel utan att behöva bli skicklig på att operera en drönare. Denna potential kan möjliggöra nya typer av nöjesparker och nya sätt att ha kul utomhus – till nya interaktiva fjärrturismformer.

Finns det något annat du vill dela om XTEND?

Det nya konceptet att kombinera människor med maskiner presenterar många spännande möjligheter. Oavsett om det är att skapa en snabb stadsvitt försvarslag eller att möjliggöra nästa generation av GoPro-liknande teknik, XTEND:s slutgiltiga mål förblir detsamma. Vi strävar efter att konstruera en verklighet där var och en av oss kan vara var som helst, vid varje given tidpunkt, och interagera fullständigt med den fjärrmiljön.

Tack för intervjun, detta låter som det kan vara en potentiellt spelväxlare teknik. Läsare som vill lära sig mer kan besöka XTEND .