Image 1: Une utilisatrice portant un casque de réalité augmentée. Photo by Barbara Zandoval on Unsplash.
La réalité virtuelle (RV) nous permet de faire l’expérience de mondes remarquablement immersifs. Ces environnements peuvent être attrayants et promettent de faciliter les tâches qui exigent un haut degré d’immersion – l’état psychologique que les utilisateurs ressentent lorsqu’ils sont plongés dans un environnement qui diffuse des stimuli en continu [1] – dans leur contenu tridimensionnel.
Par rapport aux environnements RV totalement immersifs, la réalité augmentée (RA) offre de nouvelles possibilités, en plus de permettre des vues immersives de données stéréoscopiques en 3D. Tout d’abord, la RA ne transporte pas les utilisateurs dans un monde entièrement virtuel mais les laisse dans un environnement réel, ce qui leur permet d’interagir avec des objets habituels tels que les dispositifs d’entrée traditionnels (par exemple, la souris). Les utilisateurs ne sont donc pas obligés d’utiliser des périphériques dédiés (par exemple, une baguette, un contrôleur 3D) comme dans la plupart des environnements RV, ce qui réduit les coûts d’apprentissage et offre un grand potentiel d’intégration des nouveaux environnements aux outils existants. Ce dernier point est essentiel car les scientifiques travaillant avec des données complexes ont tendance à s’en tenir aux outils d’analyse existants sur PC et hésitent à passer à de nouveaux outils, comme l’ont montré des travaux de recherche antérieurs [2].
Afin de comprendre le cas d’utilisation potentielle de combinaison de la RA avec les outils d’exploration des données sur PC, nous avons mis en œuvre un prototype pour servir d’outil initial que nous pouvons tester avec des scientifiques étudiant des données complexes [3]. L’objectif est d’essayer de favoriser l’utilisation d’environnements immersifs par les scientifiques en les combinant à des environnements classiques.. Nous avons décidé de collaborer avec des chercheurs du CERN afin d’évaluer ce prototype. Nous ne l’avons pas développé pour remplacer les logiciels et les paramètres existants en termes de convivialité, de détails d’interaction ou de puissance de calcul, qui sont absolument nécessaires aux physiciens du CERN et qui évoluent rapidement selon eux, mais ce ne sont pas les points qui nous intéressent dans ce travail. Notre objectif était de voir comment combiner l’avantage d’un environnement de travail classique avec un environnement immersif, particulièrement intéressant pour l’analyse de données spatiales ou multi-dimensionnelles.
Notre prototype est donc décomposé en deux parties: la première sur un PC et la seconde sur un casque HoloLens, toutes deux inspirées des environnements de travail habituels des physiciens des particules avec qui nous avons collaboré. Nous avons utilisé la métaphore d’un environnement à deux écrans, dans lequel le contenu de chacun d’entre eux peut être défini individuellement et la souris peut se déplacer d’un écran à l’autre (ce qui est maintenant classique dans beaucoup de métiers). Nous remplaçons dans notre prototype l’un de ces écrans par l’environnement de RA (Image 2). Les utilisateurs peuvent rester assis et continuer à travailler avec leurs outils traditionnels sur leur PC ou leur ordinateur portable, mais ils peuvent également passer à l’environnement de RA en cas de besoin et revenir au PC à tout moment. La communication entre les deux environnement est basée sur le WiFi en utilisant le protocole UDP. Cette communication est également bidirectionnelle : les interactions qui se produisent dans l’environnement de RA sont transmises au PC et vice-versa. Dans ce prototype, chaque environnement présente le même jeu de données, mais les vues et analyses sont configurables par les utilisateurs. De cette façon, notre prototype permet aussi de combiner plusieurs techniques d’intéractions natives à chacun des environnements. Les chercheurs peuvent ainsi sélectionner certaines parties de leurs données via des visualizations interactives sur l’écran 2D, ou bien recourir à une sélection basée sur la position et configuration spatiales des données dans l’environnement de réalité augmentée.
Image 2: Vue de l’écran d’analyse avec son extension en réalité augmentée.
Bien qu’il existe aujourd’hui de nombreuses façons d’interagir avec un Hololens (mains, gants, smartphones… ), nous avons décidé de permettre aux physiciens d’utiliser la souris. Lorsque la souris quitte les bords de l’écran, nous avons choisi de permettre aux physiciens d’interagir avec l’Hololens en cliquant sur la touche Shift de leur clavier. La souris se déplace alors en 2D de façon classique, et le scroll peut être utilisé pour manipuler une troisième dimension via la souris.
Nous avons évalué ce prototype et ses capacités avec 7 chercheurs du CERN. Notre protocole d’évaluation était principalement centré sur une observation des 7 chercheurs pendant la conduite d’une tâche d’analyse représentative de leur travail. Durant cette tâche, il leur était demandé de penser à voix haute afin que nous puissions prendre notes de leurs commentaires. Une fois la tâche achevée, nous leurs demandions de répondre à plusieurs questions notamment en termes de préférences sur les combinaisons possibles entre RA et moniteurs. L’objectif premier de cette évaluation était de comprendre le potentiel, les intérêts, et les soucis de notre approche lorsqu’on la compare aux outils que les chercheurs du CERN utilisent actuellement. De cette évaluation ressort que les physiciens des particules ont bien apprécié et compris l’utilité d’un environnement d’analyse de données hybride, entre immersif et station de travail et préfèreraient, dans l’ensemble, ce genre d’environnement à un environnement unique. L’environnement immersif a bel et bien été perçu comme une extension de l’écran 2D, ajoutant des possibilités d’analyse exploratoire des données. Qui plus est, l’environnement 3D permet aussi d’étendre l’environnement de travail de façon infinie et non contrainte contrairement à un écran supplémentaire.
Bien que les environnements immersifs (RV et RA) soient aujourd’hui prêts à l’emploi, leur intégration avec des outils plus classiques est encore très peu explorée. Les possibilités de combinaison sont multiples et ces travaux présentent seulement une de ces nombreuses possibilités. Cependant, la validation de cette possibilité par des physiciens des particules du CERN nous montre bien le potentiel de ce genre de solution de travail hybride.
[1] Witmer, Bob G., and Michael J. Singer. « Measuring presence in virtual environments: A presence questionnaire. » Presence 7.3 (1998): 225-240. https://doi.org/10.1162/105474698565686
[2] Lonni Besançon, Paul Issartel, Mehdi Ammi, Tobias Isenberg. Hybrid Tactile/Tangible Interaction for 3D Data Exploration. IEEE Transactions on Visualization and Computer Graphics, Institute of Electrical and Electronics Engineers, 2017, 23 (1), pp.881-890. https://doi.org/10.1109/TVCG.2016.2599217
[3] Xiyao Wang, David Rousseau, Lonni Besançon, Mickael Sereno, Mehdi Ammi, Tobias Isenberg. Towards an Understanding of Augmented Reality Extensions for Existing 3D Data Analysis Tools. CHI ’20 – 38th SIGCHI conference on Human Factors in computing systems, Apr 2020, Honolulu, United States. https://doi.org/10.1145/3313831.3376657
Laisser un commentaire