Un système de mise au point authentique pour une réalité augmentée « bon marché »

Les chercheurs de l’Institut des ingénieurs électriciens et électroniciens (IEEE) ont développé une méthode pour augmenter l’authenticité des installations de réalité augmentée basées sur la projection à faible coût, grâce à des lunettes spéciales qui font que les images 3D projetées vont et viennent de la mise au point de la même manière que si les objets étaient réels, surmontant un obstacle perceptuel critique pour une utilisation pratique des systèmes de projection dans des environnements contrôlés.

Le système IEEE recrée des plans de profondeur pour des images réelles et CGI qui seront superposées dans les salles. Dans ce cas, trois lapins CGI Stanford sont superposés au même plan de profondeur que trois objets du monde réel, et leur flou est contrôlé par où le spectateur regarde et se concentre. Les projecteurs 3D peuvent mettre des séquences sur des surfaces fixes, des surfaces mobiles ou même une géométrie complexe, offrant une large couverture qui est difficile à recréer sous les limitations de traitement sévères des systèmes AR tels que HoloLens. Source: https://www.youtube.com/watch?v=I8DGTQnxm38

Le système utilise des lentilles à mise au point électriquement ajustable (ETL) intégrées dans les lunettes du spectateur (qui sont de toute façon nécessaires pour séparer les deux flux d’images en une expérience 3D convaincante), et qui communiquent avec le système de projection, qui change alors automatiquement le niveau de flou de l’image projetée vue par le spectateur.

Les lentilles ETL renvoient des informations sur l’attention focale de l’utilisateur et définissent le niveau de flou sur une base par plan pour le rendu de la géométrie projetée. Le développement du système est décrit dans une vidéo accompagnant cet article.

L’article scientifique, intitulé Multifocal Stereoscopic Projection Mapping, offre un nouveau niveau d’utilisabilité à un domaine qui a été limité par son manque d’intégration avec la façon dont les utilisateurs se concentrent sur différents objets, et qui promet de surmonter les problèmes que ces systèmes ont avec le conflit vergence-accommodation (VAC) – un syndrome où la distance perçue entre un objet ne correspond pas à sa distance de mise au point logique, faisant que l’objet « flotte » de manière peu convaincante où il devrait être défectueux dans le contexte de son placement.

Dans les environnements AR, tels que Microsoft’s HoloLens, le rendu foveal est utilisé pour concentrer la puissance de traitement, le détail et la mise au point en fonction de où l’utilisateur porte son regard et se concentre. Cependant, les systèmes AR portables tels que HoloLens ont une charge matérielle plus élevée à bord, puisqu’ils doivent réellement fournir l’image 3D à l’utilisateur.

L’avantage de la réalité augmentée projetée

Contrairement à cela, les lunettes ETL ne font que transmettre des informations de mise au point comme une variable supplémentaire aux pipelines CGI distants, qui peuvent changer la mise au point des images projetées plus rapidement que le aller-retour que les informations de mise au point doivent faire dans un dispositif AR portable (c’est-à-dire informations de mise au point > envoyées au processeur distant > rendu > renvoyé à l’utilisateur), améliorant ainsi la latence, qui est en soi une cause potentielle de désorientation de l’utilisateur dans les systèmes AR.

En effet, le rendu foveal est utilisé autant pour accommoder les ressources limitées disponibles que pour fournir une expérience de mise au point authentique pour l’utilisateur, avec de grandes zones d’images superposées difficiles à réaliser dans les systèmes de type HoloLens, et des bords instables une plainte constante.

De SIGGRAPH 98 – une vision de la réalité augmentée dans un environnement de bureau, citée dans le nouvel article. Source: https://www.youtube.com/watch?v=I8DGTQnxm38 et https://web.media.mit.edu/~raskar/UNC/Office/

L’article observe un certain nombre d’avantages connus que la cartographie de projection stéréoscopique (PM) a sur les mises en œuvre plus modernes de la réalité augmentée, qui reposent sur des équipements portés lourds et intenses, comme les auteurs le notent*:

Premièrement, le champ de vision (FOV) peut être rendu aussi large que possible en augmentant le nombre de projecteurs pour couvrir l’environnement entier. Deuxièmement, les lunettes à obturateur actif utilisées sont normalement beaucoup plus légères, et, par conséquent, leur fardeau physique est moins important que les HMD. Troisièmement, plusieurs utilisateurs peuvent partager la même expérience AR si leurs points de vue sont suffisamment proches les uns des autres. Grâce à ces avantages, les chercheurs ont trouvé que la cartographie de projection stéréoscopique est adaptée à un large éventail d’applications, notamment mais non exclusivement les guides de musée, la planification d’architecture, la conception de produits, la formation médicale, les interfaces à changement de forme, et la téléconférence.

Une telle mise en œuvre a été conçue par Microsoft Research en 2012, avant que l’entreprise ne se concentre sur l’AR dans les appareils ces dernières années:

Les chercheurs de l’IEEE affirment que le nouveau système d’entrée de mise au point est le premier à résoudre le problème du VAC en contrôlant les plans de mise au point multiples, et est également le premier à résoudre ce problème de manière générique et largement applicable, sans avoir besoin d’équipement de projection spécialisé coûteux.

La pipeline de rendu centrée sur la mise au point conçue par les chercheurs intègre les informations de mise au point reçues des lunettes ETL du spectateur dès le début du processus de rendu, plutôt que de nécessiter que l’ordinateur de base rende et floue ensuite. Selon la mise en œuvre, cela peut économiser davantage de ressources de traitement et améliorer la latence à mesure que le regard de l’utilisateur se déplace autour des éléments virtuels.

La technique est rapportée pour fonctionner bien sur une variété de surfaces de projection possibles, notamment les surfaces planes, non planes (c’est-à-dire courbes ou géométrie complexe, tels que des mannequins sur lesquels des images de radiographie médicale pourraient être imposées) et les surfaces mobiles.

Un mannequin de réalité mixte qui utilise la projection 3D, conçu pour un environnement d’éducation médicale, cité dans l’article. Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Les systèmes de projection de ce type nécessitent des environnements sombres, tels que les salles de musée, et le système ETL réduit l’angle de vision disponible pour le spectateur, bien que les chercheurs affirment que la tendance à l’augmentation de la taille des ouvertures pour les équipements ETL atténuera cette limitation à l’avenir. Bien que les auteurs notent également que le système nécessite un projecteur à haute vitesse pour fournir suffisamment d’images pour les séparer en deux flux, ils ont utilisé un projecteur disponible dans le commerce pour leur mise en œuvre.

*Ma conversion des citations en ligne en hyperliens.