Matteo Shapira, Co-Fondateur & CXO de XTEND – Série d’entretiens

Matteo Shapira est le Co-Fondateur & CXO de XTEND, une plateforme de téléprésence révolutionnaire qui permet aux humains de s’étendre virtuellement dans l’action via un modèle d’interface machine centrée sur l’humain. Le modèle combine les meilleures qualités des humains et des machines pour effectuer des tâches disruptives et complexes.

Pouvez-vous commencer par expliquer comment la réalité étendue (XR) diffère ou fusionne la réalité virtuelle, augmentée ou mixte ?

Chez XTEND, nous permettons aux utilisateurs de « téléporter » à un emplacement distant. Cette téléprésence n’est pas nécessairement une « réalité virtuelle » mais plutôt une réalité réelle, où les utilisateurs peuvent effectuer diverses activités professionnelles ou de loisirs. Nous nous référons à cela comme « XR » ou « REALITE ETENDUE » puisqu’il permet aux utilisateurs de s’étendre rapidement et intuitivement dans un emplacement distant. Nous utilisons la technologie de réalité augmentée pour présenter des graphiques 3D spatiaux sur le point de vue de l’utilisateur pour améliorer et renforcer l’expérience (par exemple, un architecte peut voir la conception du bâtiment ; un enfant peut voir des magasins intégrés à son environnement local ; un soldat peut voir des données sur le champ de bataille)

Votre startup précédente, Replay Technologies, a finalement été acquise par Intel (INTC ). Pouvez-vous décrire la technologie que vous avez développée chez Replay Technologies ?

Chez Replay, nous avons développé un format et une technologie de vidéo volumétrique primés aux Emmy appelés « freeD ». FreeD fonctionnait en capturant la réalité avec des voxels tridimensionnels au lieu de pixels bidimensionnels comme les formats vidéo réguliers. La technologie a été utilisée par la plupart des ligues sportives majeures dans le monde (NBA, NFL, MLB, Euro Soccer, US Open, etc.) pour créer des replays 360 – créant l’illusion d’une caméra où il n’y avait pas de caméra physique. Nos débuts chez Replay ont inspiré le concept de « téléprésence » – puisque nous pouvions permettre à l’utilisateur de « téléporter » lui-même à l’intérieur du stade de sport et courir avec ses joueurs de football préférés. Sauf que avec XTEND, nous faisons cela via des drones.

Quelle est l’histoire de la genèse derrière XTEND ?

XTEND est né de Replay et a été vendu plus tard à Intel Sports lorsque les fondateurs Aviv & Matteo ont décidé de passer à de nouvelles entreprises. Les frères ont rencontré Rubi Liani, fondateur de la Ligue israélienne de course de drones (FRIL | DRL) et Adir Tubi (un spécialiste de la défense), où ils ont découvert que, en termes d’UX, les drones ressemblent à ce que les ordinateurs étaient il y a 30-40 ans. Il n’y avait pas de moyen facile de vivre cette « réalité » avec une utilisation facile ou une expérience immersive moderne ; seuls les « geeks » pouvaient personnaliser et exploiter efficacement les drones.

XTEND a décidé de changer tout cela. Ils ont décidé que la défense devait être le premier marché à pénétrer, en aidant les soldats, la police et les premiers intervenants à répondre à l’appel du devoir. La technologie permet auxdits opérateurs d’effectuer leurs tâches via une machine volante, ce qui réduit considérablement le risque pour la vie humaine (*voir le lien vers les clips « avant | après » de XTEND dans divers écosystèmes disruptifs). Le premier concept de preuve de XTEND (POC) était un système appelé SKYLORD HUNTER. Il s’est avéré être un changement de jeu dans le domaine de l’interception aérienne, car il a permis à tout soldat patrouillant la frontière sud de Gaza d’intercepter facilement toute menace venant du ciel (drones, ballons incendiaires, etc.) de manière efficace et efficiente.

Comment la plateforme XR permettra-t-elle à un utilisateur de contrôler une gamme de robots autonomes ?

L’idée derrière XTEND est révolutionnaire. Au lieu d’avoir une équipe complètement automatisée de robots autonomes effectuant des tâches complètement indépendantes, nous visons à intégrer les humains et les machines pour assimiler les meilleurs avantages des deux entités. Au lieu de remplacer les humains par des équipes de machines autonomes, nous développons un système d’exploitation de machine centré sur l’humain qui permet de faciliter l’interface et de « téléporter » dans une réalité distante et d’effectuer diverses fonctions. Une partie de la capacité de base de ce système d’exploitation est de pouvoir « multi-présence » – c’est-à-dire contrôler plusieurs machines simultanément. Par exemple : imaginez une équipe de 10 drones de lutte contre les incendies arrivant sur un site de catastrophe, permettant à un seul pompier de passer facilement d’un drone à l’autre pour contrôler le feu et secourir les survivants. Chaque drone (ou « nœud ») peut avoir différents ensembles d’outils tels que la rupture d’une fenêtre, la libération d’un répulsif d’incendie, la communication avec les victimes, la transmission de données à l’intérieur d’un bâtiment complexe, etc…

Pouvez-vous discuter de certaines technologies d’apprentissage automatique ou d’autres technologies qui facilitent l’expérience de réalités distantes ?

Nous utilisons principalement l’apprentissage automatique pour aider les drones à naviguer de manière « transparente » et précise dans un environnement agnostique. Pour qu’un drone fonctionne de manière fluide et précise dans n’importe quel environnement (intérieur, extérieur, lumineux, sombre, complexe, simple), la machine doit « s’auto-apprendre » à se comporter avec précision dans des situations imprévisibles et dynamiques. Nous développons une série d’algorithmes pour permettre une telle opérabilité humaine centrée sur la machine (où la personne est agnostique à toutes les limitations ou les opérations de la machine – elles sont « transparentes » pour eux de la même manière qu’un système d’exploitation masque tous ses processus internes à l’utilisateur)

De plus, notre technologie utilise ce que nous appelons des « couches d’IA empilées », permettant aux drones de « servir » l’opérateur humain en arrière-plan : de la prédiction de trajectoire et de l’évitement de collision à la possibilité de « nœuds enfants » dans une équipe de drones pour suivre le leader et patrouiller efficacement.

Le lancement initial de produit de XTEND est SKYLORD, qui aide les militaires et les premiers intervenants. Pouvez-vous discuter de ce que SKYLORD est et de ce qui le rend si disruptif ?

SKYLORD est une plateforme révolutionnaire. Elle permet à tout opérateur de drone non professionnel d’utiliser facilement et avec précision un ensemble d’outils de drones. Cette technologie réduit efficacement le risque et la perte de vies humaines sur le champ de bataille, car une présence physique n’est pas requise. Aujourd’hui, les drones sont soit 100 % autonomes, soit très difficiles pour un utilisateur à exploiter efficacement. La technologie de XTEND rend l’utilisation de drones tactiques un jeu d’enfant. Par exemple, pourquoi prendre d’assaut une maison avec des terroristes si un drone peut effectuer la même tâche comme si l’opérateur était physiquement présent ? La technologie continue d’évoluer pour maximiser le potentiel de l’IA et des technologies basées sur les essaims pour permettre à un seul opérateur de contrôler efficacement une équipe de drones avec diverses charges utiles et capacités avec une approche centrée sur l’humain plutôt que complètement autonome.

Quelles sont certaines des applications de jeu potentielles de la technologie XTEND ?

Le potentiel est énorme. Aujourd’hui, si nous achetons un drone pour voler autour, il est virtuellement inutile, et pour atteindre les niveaux d’excitation de la Ligue de course de drones (DRL), cela nécessite des années de pratique. Nous permettons une expérience XR « prête à l’emploi », permettant à quiconque de jouer à des jeux de vue à la première personne excitants sans avoir besoin de devenir compétent dans l’exploitation d’un drone. Ce potentiel peut permettre de nouveaux types de manèges de parc d’attractions et de nouvelles façons de s’amuser à l’extérieur – à de nouvelles formes de tourisme interactif à distance.

Y a-t-il autre chose que vous aimeriez partager sur XTEND ?

Le concept novateur de combiner les humains et les machines présente de nombreuses possibilités excitantes. Que ce soit la création d’une flotte de premiers intervenants rapides dans une ville ou la possibilité de permettre à la prochaine génération de technologie similaire à GoPro (GPRO ), l’objectif ultime de XTEND reste le même. Nous nous efforçons de construire une réalité où chacun de nous pourrait être n’importe où, à tout moment, interagissant pleinement avec cet environnement distant.

Je vous remercie pour l’entretien, cela ressemble à une technologie qui pourrait potentiellement être révolutionnaire. Les lecteurs qui souhaitent en savoir plus peuvent visiter XTEND.