Étiquette : réalité augmentée

  • L’avenir de la réalité virtuelle sera hybride et physiologique

    Réalité virtuelle, réalité augmentée, interfaces cerveau-ordinateur (BCI en anglais), autant de domaines relativement peu connus du grand public et qui sont appelés à se développer dans un futur proche. Pour mieux comprendre quelles questions ils soulèvent, nous nous sommes entretenus avec Anatole LECUYER (Directeur de recherches Inria à Rennes).  Pascal Guitton 

    Binaire : pourrais-tu commencer par nous expliquer ton parcours de formation ?

    Anatole Lecuyer : Après un bac scientifique et des classes préparatoires, j’ai intégré l’école Centrale de Lille. La formation généraliste m’a globalement intéressé mais je me suis surtout amusé pendant mon stage de 3ème année. Je suis allé à l’université Simon Fraser à Vancouver où j’ai développé un outil de simulation visuelle pour une main robotisée. Ce fut une révélation : avec ce type de recherches je pouvais enfin faire dialoguer mes intérêts pour la science et pour les expressions  graphiques voire artistiques. Je ne m’en rendais pas compte à cette époque (été 1996) mais j’avais la chance de participer à l’émergence de la réalité virtuelle qui était encore balbutiante et pratiquement inexistante en France.

    Anatole LECUYER – Copyright Innovaxiom

    Après ce stage, j’ai travaillé pendant deux ans dans l’industrie aéronautique mais avec comme objectif de préparer une thèse et tout d’abord de composer le sujet qui m’intéressait. En 1998, j’ai démarré une thèse à Orsay sous la direction de Sabine Coquillart (Inria) et Philippe Coiffet (CNRS) sur l’utilisation des retours haptiques et visuels pour la simulation aéronautique en lien avec Aérospatiale (devenue EADS par la suite). C’était un sujet très précis, « délimité » comme je l’avais souhaité, mais je dois dire qu’un grain de sable s’y est introduit : le dispositif haptique que j’utilisais est tombé en panne et a été indisponible pendant 6 mois. Il a donc fallu « réinventer » une nouvelle approche et m’est alors venu l’idée du pseudo-haptique : comment produire des sensations haptiques sans utiliser aucun dispositif mécanique (ce que faisait le bras robotisé en panne) et en les remplaçant par des stimuli visuels. Comment donc générer des « illusions haptiques » exploitant un autre sens : la vision. Il est amusant de constater avec le recul que ce travail a été couronné de succès alors qu’il n’était absolument pas planifié mais résultait d’un accident de parcours ! A la fin de ma thèse soutenue en 2001, j’avais trouvé ma voie : je voulais faire de la recherche en réalité virtuelle mon métier.

    B : parle-nous de ce début de carrière

    AL : Après un an passé au CEA, j’ai été recruté en 2002 comme chargé de recherche Inria dans l’équipe SIAMES à Rennes. La première chose que je retiens est le décalage entre d’une part, l’impression d’avoir enfin réussi à atteindre un objectif préparé de façon intensive depuis plusieurs années et après un processus de sélection assez complexe et puis, d’autre part, le démarrage d’une nouvelle vie scientifique qui était totalement à construire. Cela n’a pas été simple ! Parmi beaucoup d’autres choses, je suis gré à Bruno Arnaldi, le responsable de SIAMES, de m’avoir proposé de travailler immédiatement avec un stagiaire pour en quelque sorte relancer la machine, explorer de nouvelles voies et finalement rebâtir un projet scientifique. C’est en tout cas, une expérience qui me sert quand, à mon tour, j’accueille aujourd’hui un nouveau chercheur dans l’équipe.

    binaire : tu as travaillé sur beaucoup de sujets, quel domaine te semble central dans ton activité

    AL : sans nul doute, c’est la réalité virtuelle (RV) qui est au cœur de toutes mes recherches, que ce soit pour l’interaction, les équipements technologiques, la perception humaine… Je la définirais comme « la mise en œuvre de technologies immersives qui permettent de restituer en temps réel et d’interagir avec des univers synthétiques via des interfaces sensorielles permettant de procurer un sentiment de « présence » aux utilisateurs ». Je tiens à rappeler que même si beaucoup la découvrent depuis peu, elle existe depuis plus d’une quarantaine d’années avec une communauté très active de chercheurs et d’ingénieurs, des concepts éprouvés, des revues/conférences…. Située à l’intersection de domaines variés comme l’interaction hommes-machine, le traitement du signal, l’intelligence artificielle, l’électronique, la mécatronique sans oublier les facteurs humains (perception, sciences cognitives), cette technologie permet de simuler la plupart des activités humaines, ce qui ouvre notre travail à des collaborations interdisciplinaires extrêmement variées et enrichissantes.

    B : tu pourrais nous fournir un exemple ?

    AL : en 2005, nous avons imaginé de combiner la RV avec les technologies d’interfaces cerveau-ordinateur (ICO, ou BCI pour Brain Computer Interface en anglais) et le traitement des signaux cérébraux issus d’électro-encéphalogrammes (EEG) ouvrant ainsi une voie nouvelle d’hybridation technologique. A cette époque, l’objectif principal était d’interagir avec des environnements virtuels ; on parlait alors de commande « par la pensée », ce qui était un abus de langage. Aujourd’hui on parle plutôt de commande « par l’activité cérébrale », ce qui est plus précis. Concrètement, il s’agit de détecter l’activité cérébrale et d’interpréter les signaux recueillis comme des entrées pour piloter un ordinateur ou modifier un environnement virtuel. En 4 ans, nous avons développé un logiciel baptisé OpenViBE qui s’est vite imposé comme une plate-forme de référence dans le domaine. Chaque nouvelle version est téléchargée environ 5000 fois et l’article le présentant a été cité environ 800 fois. Mais le plus intéressant est de constater qu’il réunit des communautés très diverses : neurosciences bien entendu mais aussi RV, arts, jeux vidéo, robotique… Avec Yann Renard et Fabien Lotte les co-créateurs d’OpenViBE, nous sommes toujours aussi émerveillés de cette réussite.

    Jeu vidéo « multi-joueur » contrôlé directement par l’activité cérébrale. Les deux utilisateurs équipés de casques EEG jouent ensemble ou l’un contre l’autre dans un jeu de football simplifié où il faut marquer des buts à droite (ou à gauche) de l’écran en imaginant des mouvements de la main droite (ou gauche) – © Inria / Photo Kaksonen

     B : et si maintenant nous parlions d’Hybrid l’équipe de recherche que tu animes à Rennes ?

    AL : si je devais résumer la ligne directrice d’Hybrid, je dirais que nous explorons l’interface entre les technologies immersives et d’autres approches scientifiques notamment en termes d’exploitation de signaux physiologiques. Ce qui était un pari il y a 10 ans s’est progressivement imposé comme une évidence. On peut par exemple remarquer qu’une des évolutions des casques RV est d’y intégrer de plus en plus de capteurs physiologiques, ce qui réalise notre hypothèse initiale.

    Pour illustrer cette démarche, je peux évoquer des travaux réalisés pendant la thèse de Hakim Si-Mohammed et qui ont été publiés en 2018. C’était la première fois que l’on utilisait conjointement un casque de Réalité Augmentée (Microsoft Hololens) et un casque EEG. Nous avons d’abord montré qu’il était possible d’utiliser simultanément ces deux technologies, sans risque et avec des bonnes performances. Puis, nous avons proposé plusieurs cas d’usage, par exemple pour piloter à distance un robot mobile, ou encore pour contrôler des objets intelligents dans une maison connectée (collaboration avec Orange Labs) permettant notamment d’allumer une lampe ou d’augmenter le volume de la télévision sans bouger, en se concentrant simplement sur des menus clignotants affichés dans les lunettes de réalité augmentée.

    Utilisation conjointe de lunettes de réalité augmentée et d’une interface neuronale (casque électro-encéphalographique) pour piloter à distance et sans bouger un robot mobile

     binaire : en 10 ans, comment observes-tu l’évolution de l’équipe ?

    AL : au démarrage, nous avons beaucoup travaillé sur le plan scientifique pour jeter les bases de notre projet. Au fil des rencontres que nous avons eues la chance de réaliser dans nos différents projets, la question des impacts sociétaux est devenue de plus en plus centrale dans nos activités. Je pense notamment au domaine médical, d’abord grâce à OpenViBE qui était initialement conçu pour pouvoir assister des personnes en situation de handicap privées de capacité d’interagir.

    On peut ensuite évoquer le projet HEMISFER initié avec Christian Barillot pour contribuer à la rééducation de personnes dépressives chroniques ou dont le cerveau a subi des lésions post-AVC en développant des outils combinant EEG et IRM en temps réel. Bien que lancé en 2012, nous n’obtiendrons les résultats définitifs de ce travail que cette année en raison de la complexité des technologies mais aussi des essais cliniques. Mais les premiers résultats à notre disposition sont déjà très positifs. Dans cette dynamique, nous avons mené plusieurs sous-projets autour du NeuroFeedback, c’est-à-dire des techniques permettant à un utilisateur équipé d’un casque EEG d’apprendre progressivement à contrôler son activité cérébrale, grâce à des retours sensoriels explicites. Une des tâches les plus employées pour les tester consiste à demander à l’utilisateur de faire monter une jauge visuelle en essayant de modifier activement ses signaux EEG. On observe qu’il est parfois difficile, voire même impossible pour certaines personnes, de maîtriser leur activité cérébrale pour générer les signaux utiles pour interfacer un tel système informatique. Nous travaillons pour tenter de comprendre ces difficultés : sont-elles liées à des traits de personnalité ? Sont-elles amplifiées par un déficit d’accompagnement du système ? C’est un sujet passionnant. Et les perspectives d’applications thérapeutiques, notamment pour la réhabilitation, sont très riches.

    Il y a 3 ans, grâce à l’arrivée dans notre équipe de Mélanie Cogné qui est également médecin au CHU de Rennes, nous avons franchi un pas supplémentaire en pouvant dorénavant tester et évaluer nos systèmes au sein d’un hôpital avec des patients. Cette démarche que nous n’imaginions pas il y une quinzaine d’années s’est progressivement imposée et aujourd’hui, nous ressentons au moins autant de plaisir à voir nos travaux utilisés dans ce contexte qu’à obtenir un beau résultat scientifique et à le voir publié.

    Je pense par exemple au projet VERARE que nous avons lancé pendant la crise COVID avec le CHU Rennes. Nous étions isolés chacun de notre côté et il a fallu coordonner à distance le travail de plus d’une dizaine de personnes ; ce fut très complexe mais nous avons réussi à le faire. Le projet visait à faciliter la récupération des patients se réveillant d’un coma profond et qui incapables de se nourrir ou de se déplacer. Notre hypothèse était qu’une expérience immersive dans laquelle l’avatar associé au patient se déplacerait chaque jour pendant 9 minutes 10 jours de suite dans un environnement virtuel agréable (une allée boisée dans un parc par exemple) contribuerait à préserver, voire rétablir des circuits cérébraux afin de déclencher un processus de rééducation avant même de quitter leur lit. Nous avons donc équipé des patients avec un casque de RV dès leur réveil au sein du service de réanimation, ce qui n’avait encore jamais été réalisé. Pour évaluer de façon rigoureuse cette expérimentation, les médecins réalisent actuellement une étude clinique qui n’est pas encore terminée, mais d’ores et déjà, nous savons que les soignants et les patients qui utilisent notre dispositif en sont très satisfaits.

    binaire : comment souhaites-tu conclure ?

    AL : Eh bien, en évoquant l’avenir, et le chemin qu’il reste à parcourir. Car même si la communauté des chercheurs a fait avancer les connaissances de façon spectaculaire ces 20 dernières années, il reste encore des défis majeurs et très complexes à relever.  Tellement complexes, qu’il est indispensable de travailler de façon interdisciplinaire autour de plusieurs axes, pour espérer améliorer à l’avenir et entre autres : les dispositifs immersifs (optique, mécatronique), les logiciels (réseaux, architectures), les algorithmes  (modélisation, simulation d’environnements toujours plus complexes), les interactions humain-machine 3D (notamment pour les déplacements ou les sensations tactiles) ou encore la compréhension de la perception des mondes virtuels et ses mécanismes sous-jacents.

    Tous ces défis laissent espérer des perspectives d’application très intéressantes dans des domaines variés : la médecine, le sport, la formation, l’éducation, le patrimoine culturel, les processus industriels, etc… s

    Mais en parallèle à ces questionnements scientifiques riches et variés, apparaissent d’autres enjeux très importants liés à la diffusion à grande échelle de ces technologies, avec des réflexions à mener sur les aspects éthiques, juridiques, économiques, et bien-sûr environnementaux. Tous ces sujets sont passionnants, et toutes les bonnes volontés sont les bienvenues !

    Pascal Guitton

    Références

  • Les avatars peuvent-ils remplacer notre corps ?

    En réalité virtuelle, se pose notamment la question de notre représentation à l’aide d’avatars dans ces mondes virtuels : préférons-nous  choisir une copie conforme de ce que nous sommes ou au contraire une apparence très différente ? Et que devient cette interrogation dans un contexte de réalité augmentée ? C’est le le sujet de la thèse que prépare Adélaïde Genay et que nous vous proposons de découvrir grâce à un  article publié par The Conversation à l’occasion de la Fête de la science. Pascal Guitton.

    Utiliser notre corps semble si naturel : il suffit d’avoir l’intention de faire un mouvement pour que celui-ci se produise. Cette capacité cache pourtant de nombreux processus complexes qui occupent encore de nombreux neuroscientifiques, psychologues et philosophes en quête d’explications sur ce qui cause le sentiment d’avoir un corps.

    Cette sensation, appelée « sentiment d’incarnation », est décrite par Kilteni et al. comme composée de trois dimensions :

    • l’agentivité, c’est-à-dire la sensation d’être l’auteur des mouvements du corps ;
    • la propriété corporelle, soit le sentiment que le corps est la source des sensations éprouvées ;
    • l’autolocalisation, c’est-à-dire la sensation d’être situé à l’intérieur du corps.

    Si ces trois sens semblent empêcher la dissociation de notre corps et de notre « esprit », il est pourtant possible de créer l’illusion d’avoir un autre corps. En effet, aussi étrange que cela puisse paraître, réaliser cette expérience est aujourd’hui un jeu d’enfant grâce à la Réalité Virtuelle (RV). La plupart d’entre nous connaissent cette technologie pour son aptitude à nous transporter dans un endroit différent, mais celle-ci nous permet également d’incarner un corps différent.

    Cette illusion est rendue possible grâce aux multiples stimuli sensoriels que nous procurent les casques de RV et qui modifient notre perception du monde. Immergé dans un environnement 3D, l’utilisateur prend le point de vue d’un avatar qui répond à ses faits et gestes comme s’il s’agissait de son propre corps, produisant ainsi l’impression qu’il lui appartient.

    « Effet de Protée »

    La possibilité d’incarner un autre corps intéresse de nombreux chercheurs qui se voient ouvrir des portes vers des expérimentations autrement impossibles. L’objectif de ma thèse, c’est de comprendre comment nous percevons les avatars pour rendre leur utilisation plus naturelle. Un sujet qui me fascine particulièrement est celui de l’influence de l’image de soi sur notre perception du monde : changeons-nous notre façon de voir les choses en changeant notre représentation de nous-mêmes ? Si cette question semble être philosophique, elle se révèle être d’une importance grandissante pour les chercheurs en Interactions Homme-Machine.

    Au début de ma thèse, j’ai commencé par me renseigner sur les travaux en réalité virtuelle qui se sont attardés sur ce sujet avant moi. Certains ont obtenu des résultats très étonnants associés à un phénomène appelé « Effet de Protée » : changer virtuellement la couleur de peau d’une personne conduirait à une baisse de biais ethniques à moyen terme.

    Immergé dans un environnement 3D, l’utilisateur prend le point de vue d’un avatar qui répond à ses faits et gestes. Shutterstock

    D’autres études vont encore plus loin et encouragent le changement de comportement dans des objectifs thérapeutiques (troubles alimentaires, traitement de douleurs…). Plus surprenant encore, des chercheurs ont réussi à montrer qu’il est possible d’améliorer momentanément notre faculté à résoudre des problèmes en faisant incarner Albert Einstein à des participants. Incroyable ! Et pourquoi ne pas utiliser Michel-Ange comme avatar pour booster nos talents de peintre, ou Jimi Hendrix pour de meilleures improvisations à la guitare ?

    Inspirée par tous ces résultats, j’ai décidé de me lancer dans l’étude du sentiment d’incarnation. En particulier, j’ai voulu explorer comment mettre en place un tel sentiment sans avoir à s’immerger dans un monde virtuel. De précédentes études ont montré qu’il est effectivement possible d’évoquer ce type de sensations envers un mannequin ou une prothèse. Cependant, les possibilités d’expérimentation avec des objets réels sont limitées et difficiles à mettre en place.

    Sentiment de propriété corporelle

    C’est pourquoi je me suis intéressée à la Réalité Augmentée (RA) : en effet, cette technologie permet de voir et d’interagir avec des hologrammes dynamiques intégrés à notre environnement réel, et notamment avec des avatars 3D animés. Peu de choses sont connues sur la perception des avatars dans ce contexte. Si celle-ci s’avère être similaire à celle en RV, alors cela voudrait dire que les changements de comportement observés en milieu virtuels pourraient être reproduits et exploités directement au sein de notre environnement quotidien.

    Une étude menée par Škola et Lliarokapis semble encourager cette hypothèse. Dans leur article, les auteurs comparent le sentiment d’incarnation dans différents contextes en reproduisant la célèbre illusion de la main en caoutchouc. Cette illusion consiste à donner l’impression au participant que la main en caoutchouc posée devant lui fait partie de son corps.

    Pour créer cette illusion, un expérimentateur caresse la main en caoutchouc exactement en même temps que la vraie main du participant, cachée sous un drap. Si le participant réagit physiquement à une menace, par exemple en retirant sa vraie main suite à la chute d’un couteau sur la fausse main, alors cela confirme qu’il s’est fortement approprié la main.

    La réalité augmentée permet d’insérer des éléments virtuels dans notre perception du monde qui nous entoure. Shutterstock

    Dans l’étude de Škola et Lliarokapis, l’expérience de cette main en caoutchouc est comparée à celle de mains virtuelles visionnées en réalité augmentée et en réalité virtuelle. Leurs résultats ne semblent pas montrer de différence significative entre la perception globale des trois conditions. Cependant, les auteurs constatent un plus fort sentiment de propriété corporelle dans le cas de la main en caoutchouc que dans celui de la main virtuelle en réalité augmentée, mais pas en réalité virtuelle.

    Malgré qu’aucune différence notable entre les conditions n’ait été conclue, ce dernier résultat m’a particulièrement intriguée. Se pourrait-il que le mélange d’éléments réels et virtuels en réalité augmentée soit à l’origine de cette variation subtile du sentiment de propriété ? Cela expliquerait pourquoi aucune différence de ressenti ne fut observée entre la main en caoutchouc et la main virtuelle en réalité virtuelle puisque dans ces deux conditions, le visuel est homogène. Si cela s’avère vrai, alors le contexte environnemental serait un facteur d’influence du sentiment d’incarnation qui n’a encore jamais été identifié.

    Enjeux éthiques et médicaux

    Ma première expérience a consisté à étudier cette question. À l’aide d’un dispositif de RA, j’ai comparé le sentiment d’incarnation de mains virtuelles face à des quantités progressives d’objets virtuels intégrés dans le monde réel. Chaque session, les participants voyaient devant leurs mains virtuelles 1) des objets virtuels, 2) des objets réels ou 3) les deux types mélangés.

    Les mesures obtenues au travers des questionnaires indiquent une légère variation du sentiment d’incarnation. Les mains en condition 3 (objets mélangés) semblent avoir suscité un sentiment de propriété corporelle plus fort qu’en condition 2 (objets réels). Des corrélations ont également été observées d’une part entre l’appropriation des mains de l’avatar et l’immersion de l’utilisateur, et d’autre part, entre l’appropriation et la perception de la cohérence du contenu virtuel. Ces résultats suggèrent que la cohérence perçue du contenu virtuel est subjective et joue un rôle dans le sentiment d’incarner un autre corps.

    Cependant, comment expliquer la différence de propriété corporelle entre les conditions 2 et 3, et surtout, l’absence de différence entre les autres paires de conditions ? Il est impossible à ce jour de répondre avec certitude et d’autres études seront nécessaires pour quantifier ce biais. Approfondir la recherche à ce sujet semble crucial pour vérifier si l’« Effet de Protée » peut avoir lieu dans de telles conditions.

    Le travail sur le sentiment d’incarnation peut avoir des applications thérapeutiques, notamment dans le cas de l’anorexie. Shutterstock

    Les enjeux liés à la reproduction de ce phénomène sont considérables, en particulier dans le domaine médical : la réalité augmentée étant plus facilement acceptée que la réalité virtuelle dans son utilisation journalière, l’« Effet de Protée » rendrait possible l’intégration de prothèses virtuelles au quotidien de personnes amputées pour soulager leurs douleurs fantômes. Il pourrait également servir lors de la rééducation post-AVC de patients, ou encore lors de l’élaboration de stratégies de traitement de troubles psychiques comme l’anorexie.

    De nombreux autres exemples dans le domaine de l’éducation, du cinéma interactif, de l’art de scène, des jeux vidéos ou encore du sport pourraient bénéficier de l’incarnation d’avatars en RA. Plus généralement, un utilisateur pourrait intégrer les illusions d’incarnation à son quotidien pour accomplir des tâches plus efficacement en choisissant l’apparence de son avatar en fonction de celles-ci.

    Mais à l’heure où les rendus graphiques en RA sont de plus en plus réalistes, de nombreuses questions éthiques voient le jour : à quel point est-il acceptable de modifier le comportement et la perception d’un individu ?

    Si l’incarnation virtuelle peut apporter beaucoup d’avantages, il est de la responsabilité des chercheurs, des créateurs de contenu et des distributeurs de systèmes de RA d’élaborer un code de conduite pour prévenir les dérives inévitables et implications psychologiques et sociales de l’incarnation virtuelle. Ainsi, dans la suite de ma thèse, ma mission sera non seulement d’agrandir notre compréhension de ce phénomène fascinant, mais également de discuter des possibilités pour l’encadrer.

    Adélaïde GENAY (doctorante Inria, Equipe-projet Potioc, Bordeaux)