Catégorie : Interaction Humain-Machine

  • Une vie en interaction : itinéraire d’un pionnier de l’IHM

    Un nouvel entretien autour de l’informatique.
    Michel Beaudouin-Lafon est un chercheur en informatique français dans le domaine de l’interaction humain-machine. Il est professeur depuis 1992 à l’université de Paris-Saclay.  Ses travaux de recherche portent sur les aspects fondamentaux de l’interaction humain-machine, l’ingénierie des systèmes interactifs, le travail collaboratif assisté par ordinateur et plus généralement les nouvelles techniques d’interaction. Il a co-fondé et a été premier président de l’Association francophone pour l’interaction humain-machine. Il est membre senior de l’Institut universitaire de France, lauréat de la médaille d’argent du CNRS, ACM Fellow, et depuis 2025 membre de l’Académie des sciences. Cet article est publié en collaboration avec The Conversation.

    Michel Beaudouin-Lafon, https://www.lri.fr/~mbl/

    Binaire : Pourrais-tu nous raconter comment tu es devenu un spécialiste de l’interaction humain-machine ?

    MBL : J’ai suivi les classes préparatoires au lycée Montaigne à Bordeaux. On n’y faisait pas d’informatique, mais je m’amusais déjà un peu avec ma calculatrice programmable HP29C. Ensuite, je me suis retrouvé à l’ENSEEIHT, une école d’ingénieur à Toulouse, où j’ai découvert l’informatique… un peu trop ardemment : en un mois, j’avais épuisé mon quota de calcul sur les cartes perforées !

    À la sortie, je n’étais pas emballé par l’idée de rejoindre une grande entreprise ou une société de service.  J’ai alors rencontré Gérard Guiho de l’université Paris-Sud (aujourd’hui Paris-Saclay) qui m’a proposé une thèse en informatique. Je ne savais pas ce que c’était qu’une thèse : nos profs à l’ENSEEIHT, qui étaient pourtant enseignants-chercheurs, ne nous parlaient jamais de recherche.

    CPN Tools
    CPN Tools (https://cpntools.org)

    Fin 1982, c’était avant le Macintosh, Gérard venait d’acquérir une station graphique dont personne n’avait l’usage dans son équipe. Il m’a proposé de travailler dessus. Je me suis bien amusé et j’ai réalisé un logiciel d’édition qui permettait de créer et simuler des réseaux de Pétri, un formalisme avec des ronds, des carrés, des flèches, qui se prêtait bien à une interface graphique. C’est comme ça que je me suis retrouvé à faire une thèse en IHM : interaction humain-machine.

    Binaire : Est-ce que l’IHM existait déjà comme discipline à cette époque ?

    MBL : Ça existait mais de manière encore assez confidentielle. La première édition de la principale conférence internationale dans ce domaine, Computer Human Interaction (CHI), a eu lieu en 1982. En France, on s’intéressait plutôt à l’ergonomie.  Une des rares exceptions : Joëlle Coutaz qui, après avoir découvert l’IHM à CMU (Pittsburgh), a lancé ce domaine à Grenoble.

    Binaire : Et après la thèse, qu’es-tu devenu ?

    MBL : J’ai été nommé assistant au LRI, le laboratoire de recherche de l’Université Paris-Sud, avant même d’avoir fini ma thèse. Une autre époque ! Finalement, j’ai fait toute ma carrière dans ce même laboratoire, même s’il a changé de nom récemment pour devenir le LISN, laboratoire interdisciplinaire des sciences du numérique. J’y ai été nommé professeur en 1992. J’ai tout de même bougé un peu. D’abord en année sabbatique en 1992 à l’Université de Toronto, puis en détachement à l’Université d’Aarhus au Danemark entre 1998 et 2000, et enfin plus récemment comme professeur invité à l’université de Stanford entre 2010 et 2012.

    En 1992, au cours d’un workshop au Danemark, j’ai rencontré Wendy Mackay, une chercheuse qui travaillait sur l’innovation par les utilisateurs. Un an plus tard, nous étions mariés ! Cette rencontre a été déterminante dans ma carrière pour combiner mon parcours d’ingénieur, que je revendique toujours, avec son parcours à elle, qui était psychologue. Wendy est spécialiste de ce qu’on appelle la conception participative, c’est-à-dire d’impliquer les utilisateurs dans tout le cycle de conception des systèmes interactifs. Je vous invite d’ailleurs à lire son entretien dans Binaire. C’est cette complémentarité entre nous qui fait que notre collaboration a été extrêmement fructueuse sur le plan professionnel. En effet, dans le domaine de l’IHM, c’est extrêmement important d’allier trois piliers : (1) l’aspect humain, donc la psychologie ; (2) le design, la conception, la créativité ; et (3) l’ingénierie. Ce dernier point concerne la mise en œuvre concrète, et les tests avec des vrais utilisateurs pour voir si ça marche (ou pas) comme on l’espère. Nous avons vécu la belle aventure du développement de l’IHM en France, et sa reconnaissance comme science confirmée, par exemple, avec mon élection récente à l’Académie des Sciences.

    Binaire : L’IHM est donc une science, mais en quoi consiste la recherche dans ce domaine ? 

    MBL : On nous pose souvent la question. Elle est légitime. En fait, on a l’impression que les interfaces graphiques utilisées aujourd’hui par des milliards de personnes ont été inventées par Apple, Google ou Microsoft, mais pas vraiment ! Elles sont issues de la recherche académique en IHM !

    Si on définit souvent l’IHM par Interface Humain-Machine, je préfère parler d’Interaction Humain-Machine. L’interaction, c’est le phénomène qui se produit lorsqu’on est utilisateur d’un système informatique et qu’on essaie de faire quelque chose avec la machine, par la machine. On a ainsi deux entités très différentes l’une de l’autre qui communiquent : d’un côté, un être humain avec ses capacités cognitives et des moyens d’expression très riches ; et de l’autre, des ordinateurs qui sont de plus en plus puissants et très rapides mais finalement assez bêtes. Le canal de communication entre les deux est extrêmement ténu : taper sur un clavier, bouger une souris. En comparaison des capacités des deux parties, c’est quand même limité. On va donc essayer d’exploiter d’autres modalités sensorielles, des interfaces vocales, tactiles, etc., pour multiplier les canaux, mais on va aussi essayer de rendre ces canaux plus efficaces et plus puissants.

    Ce phénomène de l’interaction, c’est un peu une sorte de matière noire : on sait que c’est là, mais on ne peut pas vraiment la voir. On ne peut la mesurer et l’observer que par ses effets sur la machine et sur l’être humain. Et donc, on observe comment l’humain avec la machine peuvent faire plus que l’humain seul et la machine seule. C’est une idée assez ancienne : Doug Engelbart en parlait déjà dans les années 60 (voir dans Interstices). Et pourtant, aujourd’hui, on a un peu tendance à l’oublier car on se focalise sur des interfaces de plus en plus simples, où c’est la machine qui va tout faire et on n’a plus besoin d’interagir. Or, je pense qu’il y a vraiment une valeur ajoutée à comprendre ce phénomène d’interaction pour en tirer parti et faire que la machine augmente nos capacités plutôt que faire le travail à notre place. Par extension, on s’intéresse aussi à ce que des groupes d’humains et de machines peuvent faire ensemble.

    Théories génératives d'interaction
    Les théories génératives d’interaction (Beaudouin-Lafon, Bødker et Mackay, 2021)

    La recherche en IHM, il y a donc un aspect recherche fondamentale qui se base sur d’autres domaines (la psychologie mais aussi la sociologie quand on parle des interactions de groupes, ou encore la linguistique dans le cadre des interactions langagières) qui permet de créer nos propres modèles d’interaction, qui ne sont pas des modèles mathématiques ; et ça, je le revendique parce que je pense que c’est une bonne chose qu’on ne sache pas encore mettre le cerveau humain en équation. Et puis il y a une dimension plus appliquée où on va créer des objets logiciels ou matériels pour mettre tout ça en œuvre.

    Pour moi, l’IHM ne se résume pas à faire de nouveaux algorithmes. Au début des années 90, Peter Wegener a publié dans Communications of the ACM – un des journaux de référence dans notre domaine – un article qui disait “l’interaction est plus puissante que les algorithmes”. Cela lui a valu pas mal de commentaires et de critiques, mais ça m’a beaucoup marqué.

    Binaire : Et à propos d’algorithmes, est-ce que l’IA soulève de nouvelles problématiques en IHM ? 

    MBL : Oui, absolument ! En ce moment, les grandes conférences du domaine débordent d’articles qui combinent des modèles de langage (LLM) ou d’autres techniques d’IA avec de l’IHM. 

    Historiquement, dans une première phase, l’IA a été extrêmement utilisée en IHM, par exemple pour faire de la reconnaissance de gestes. C’était un outil commode, qui nous a simplifié la vie, mais sans changer nos méthodes d’interaction.

    Aux débuts de l’IA générative, on est un peu revenu 50 ans en arrière en matière d’interaction, quand la seule façon d’interagir avec les ordinateurs, c’était d’utiliser le terminal. On fait un prompt, on attend quelques secondes, on a une réponse ; ça ne va pas, on bricole. C’est une forme d’interaction extrêmement pauvre. De plus en plus de travaux très intéressants imaginent des interfaces beaucoup plus interactives, où on ne voit plus les prompts, mais où on peut par exemple dessiner, transformer une image interactivement, sachant que derrière, ce sont les mêmes algorithmes d’IA générative avec leurs interfaces traditionnelles qui sont utilisés.

    Pour moi, l’IA soulève également une grande question : qu’est-ce qu’on veut déléguer à la machine et qu’est-ce qui reste du côté humain ? On n’a pas encore vraiment une bonne réponse à ça. D’ailleurs, je n’aime pas trop le terme d’intelligence artificielle. Je n’aime pas attribuer des termes anthropomorphiques à des systèmes informatiques. Je m’intéresse plutôt à l’intelligence augmentée, quand la machine augmente l’intelligence humaine. Je préfère mettre l’accent sur l’exploitation de capacités propres à l’ordinateur, plutôt que d’essayer de rendre l’ordinateur identique à un être humain. 

    Binaire : La parole nous permet d’interagir avec les autres humains, et de la même façon avec des bots. N’est-ce pas plus simple que de chercher la bonne icône ? 

    MBL : Interagir par le langage, oui, c’est commode. Ceci étant, à chaque fois qu’on a annoncé une nouvelle forme d’interface qui allait rendre ces interfaces graphiques (avec des icônes, etc.) obsolètes, cela ne s’est pas vérifié. Il faut plutôt s’intéresser à comment on fait cohabiter ces différentes formes d’interactions. Si je veux faire un schéma ou un diagramme, je préfère le dessiner plutôt que d’imaginer comment le décrire oralement à un système qui va le faire (sans doute mal) pour moi. Ensuite, il y a toujours des ambiguïtés dans le langage naturel entre êtres humains. On ne se contente pas des mots. On les accompagne d’expressions faciales, de gestes, et puis de toute la connaissance d’un contexte qu’un système d’IA aujourd’hui n’a souvent pas, ce qui le conduit à faire des erreurs que des humains ne feraient pas. Et finalement, on devient des correcteurs de ce que fait le système, au lieu d’être les acteurs principaux. 

    Ces technologies d’interaction par la langue naturelle, qu’elles soient écrites ou orales, et même si on y combine des gestes, soulèvent un sérieux problème : comment faire pour que l’humain ne se retrouve pas dans une situation d’être de plus en plus passif ? En anglais, on appelle ça de-skilling : la perte de compétences et d’expertise. C’est un vrai problème parce que, par exemple, quand on va utiliser ces technologies pour faire du diagnostic médical, ou bien prononcer des sentences dans le domaine juridique, on va mettre l’être humain dans une situation de devoir valider ou non la décision posée par une IA. Et en fait, il va être quand même encouragé à dire oui, parce que contredire l’IA revient à s’exposer à une plus grande responsabilité que de constater a posteriori que l’IA s’est trompée. Donc dans ce genre de situation, on va chercher comment maintenir l’expertise de l’utilisateur et même d’aller vers de l’upskilling, c’est-à-dire comment faire pour qu’un système d’IA le rende encore plus expert de ce qu’il sait déjà bien faire, plutôt que de déléguer et rendre l’utilisateur passif. On n’a pas encore trouvé la façon magique de faire ça. Mais si on reprend l’exemple du diagnostic médical, si on demande à l’humain de faire un premier diagnostic, puis à l’IA de donner le sien, et que les deux ont ensuite un échange, c’est une interaction très différente que d’attendre simplement ce qui sort de la machine et dire oui ou non. 

    Binaire : Vous cherchez donc de nouvelles façons d’interagir avec les logiciels, qui rendent l’humain plus actif et tendent vers l’upskilling.

    MBL : Voilà ! Notre équipe s’appelle « Ex Situ », pour Extreme Situated Interaction. C’est parti d’un gag parce qu’avant, on s’appelait « In Situ » pour Interaction Située. Il s’agissait alors de concevoir des interfaces en fonction de leur contexte, de la situation dans laquelle elles sont utilisées. 

    Nous nous sommes rendus compte que nos recherches conduisaient à nous intéresser à ce qu’on a appelé des utilisateurs “extrêmes”, qui poussent la technologie dans ses retranchements. En particulier, on s’intéresse à deux types de sujets, qui sont finalement assez similaires. D’un part, les créatifs (musiciens, photographes, graphistes…) qui par nature, s’ils ont un outil (logiciel ou non) entre les mains, vont l’utiliser d’une manière qui n’était pas prévue, et ça nous intéresse justement de voir comment ils détournent ces outils. D’autre part, Wendy travaille, depuis longtemps d’ailleurs, dans le domaine des systèmes critiques dans lequel on n’a pas droit à l’erreur : pilotes d’avion, médecins, etc. 

    Dans les industries culturelles et créatives (édition, création graphique, musicale, etc.), les gens sont soit terrorisés, soit anxieux, de ce que va faire l’IA. Et nous, ce qu’on dit, c’est qu’il ne s’agit pas d’être contre l’IA – c’est un combat perdu de toute façon – mais de se demander comment ces systèmes vont pouvoir être utilisés d’une manière qui va rendre les humains encore plus créatifs. Les créateurs n’ont pas besoin qu’on crée à leur place, ils ont besoin d’outils qui les stimulent. Dans le domaine créatif, les IA génératives sont, d’une certaine façon, plus intéressantes quand elles hallucinent ou qu’elles font un peu n’importe quoi. Ce n’est pas gênant au contraire. 

    Binaire : L’idée d’utiliser les outils de façon créative, est-ce que cela conduit au design ?

    MBL : Effectivement. Par rapport à l’ergonomie, qui procède plutôt selon une approche normative en partant des tâches à optimiser, le design est une approche créative qui questionne aussi les tâches à effectuer. Un designer va autant mettre en question le problème, le redéfinir, que le résoudre. Et pour redéfinir le problème, il va interroger et observer les utilisateurs pour imaginer des solutions. C’est le principe de conception participative, qui implique les acteurs eux-mêmes en les laissant s’approprier leur activité, ce qui donne finalement de meilleurs résultats, non seulement sur le plan de la performance mais aussi et surtout sur l’acceptation.

    Notre capacité naturelle d’être humain nous conduit à constamment réinventer notre activité. Lorsque nous interagissons avec le monde, certes nous utilisons le langage, nous parlons, mais nous faisons aussi des mouvements, nous agissons sur notre environnement physique ; et ça passe parfois par la main nue, mais surtout par des outils. L’être humain est un inventeur d’outils incroyables. Je suis passionné par la  facilité que nous avons à nous servir d’outils et à détourner des objets comme outils ; qui n’a pas essayé de défaire une vis avec un couteau quand il n’a pas de tournevis à portée de main ? Et en fait, cette capacité spontanée disparaît complètement quand on passe dans le monde numérique. Pourquoi ? Parce que dans le monde physique, on utilise des connaissances techniques, on sait qu’un couteau et un tournevis ont des propriétés similaires pour cette tâche. Alors que dans un environnement numérique, on a besoin de connaissances procédurales : on apprend que pour un logiciel il faut cliquer ici et là, et puis dans un autre logiciel pour faire la même chose, c’est différent. 

    Interaction instrumentale
    Le concept d’interaction instrumentale (illustration par Nicolas Taffin)

    C’est en partant de cette observation que j’ai proposé l’ERC One, puis le projet Proof-of Concept OnePub, qui pourrait peut-être même déboucher sur une startup. On a voulu fonder l’interaction avec nos ordinateurs d’aujourd’hui sur ce modèle d’outils – que j’appelle plutôt des instruments, parce que j’aime bien l’analogie avec l’instrument de musique et le fait de devenir virtuose d’un instrument. Ça remet en cause un peu tous nos environnements numériques. Pour choisir une couleur sur Word, Excel ou Photoshop, on utilise un sélecteur de couleurs différent. En pratique, même si tu utilises les mêmes couleurs, il est impossible de prendre directement une couleur dans l’un pour l’appliquer ailleurs. Pourtant, on pourrait très bien imaginer décorréler les contenus qu’on manipule (texte, images, vidéos, son…) des outils pour les manipuler, et de la même façon que je peux aller m’acheter les pinceaux et la gouache qui me conviennent bien, je pourrais faire la même chose avec mon environnement numérique en la personnalisant vraiment, sans être soumis au choix de Microsoft, Adobe ou Apple pour ma barre d’outils. C’est un projet scientifique qui me tient à cœur et qui est aussi en lien avec la collaboration numérique.

    Substrat
    Différents instruments pour interagir avec différentes représentations d’un document, ici un graphe issu d’un tableau de données

    Binaire : Par rapport à ces aspects collaboratifs, n’y a-t-il pas aussi des verrous liés à la standardisation ?

    MBL : Absolument. On a beau avoir tous ces moyens de communication actuels, nos capacités de collaboration sont finalement très limitées. À l’origine d’Internet, les applications s’appuyaient sur des protocoles et standards ouverts assurant l’interopérabilité : par exemple, peu importait le client ou serveur de courrier électronique utilisé, on pouvait s’échanger des mails sans problème. Mais avec la commercialisation du web, des silos d’information se sont créés. Aujourd’hui, des infrastructures propriétaires comme Google ou Microsoft nous enferment dans des “jardins privés” difficiles à quitter. La collaboration s’établit dans des applications spécialisées alors qu’elle devrait être une fonctionnalité intrinsèque.

    C’est ce constat qui a motivé la création du PEPR eNSEMBLE, un grand programme national sur la collaboration numérique, dont je suis codirecteur. L’objectif est de concevoir des systèmes véritablement interopérables où la collaboration est intégrée dès la conception. Cela pose des défis logiciels et d’interface. Une des grandes forces du système Unix, où tout est très interopérable, vient du format standard d’échange qui sont des fichiers textes ASCII. Aujourd’hui, cela ne suffit plus. Les interactions sont plus complexes et dépassent largement l’échange de messages.

    Interaction collaborative
    Interaction collaborative sur le mur d’écrans WILD, © Inria, photo H. Raguet

    C’est frustrant car on a quand même fait beaucoup de progrès en IHM, mais il faudrait aussi plus d’échanges avec les autres disciplines comme les réseaux, les systèmes distribués, la cryptographie, etc., parce qu’en fait, aucun système informatique aujourd’hui ne peut se passer de prendre en compte les facteurs humains. Au-delà des limites techniques, il y a aussi des contraintes qui sont totalement artificielles et qu’on ne peut aborder que s’il y a une forme de régulation qui imposerait, par exemple, la publication des API de toute application informatique qui communique avec son environnement. D’ailleurs, la législation européenne autorise le reverse engineering dans les cas exceptionnels où cela sert à assurer l’interopérabilité, un levier que l’on pourrait exploiter pour aller plus loin.

    Cela pose aussi la question de notre responsabilité de chercheur pour ce qui est de l’impact de l’informatique, et pas seulement l’IHM, sur la société. C’est ce qui m’a amené à m’impliquer dans l’ACM Europe Technology Policy Committee, dont je suis Chair depuis 2024. L’ACM est un société savante apolitique, mais on a pour rôle d’éduquer les décideurs politiques, notamment au niveau de l’Union européenne, sur les capacités, les enjeux et les dangers des technologies, pour qu’ils puissent ensuite les prendre en compte ou pas dans des textes de loi ou des recommandations (comme l’AI ACT récemment). 

    Binaire : En matière de transmission, sur un ton plus léger, tu as participé au podcast Les petits bateaux sur Radio France. Pourrais-tu nous en parler ?

    MBL : Oui ! Les petits bateaux. Dans cette émission, les enfants peuvent appeler un numéro de téléphone pour poser des questions. Ensuite, les journalistes de l’émission contactent un scientifique avec une liste de questions, collectées au cours du temps, sur sa thématique d’expertise. Le scientifique se rend au studio et enregistre des réponses. A l’époque, un de mes anciens doctorants [ou étudiants] avait participé à une action de standardisation du clavier français Azerty sur le positionnement des caractères non alphanumériques, et j’ai donc répondu à des questions très pertinentes comme “Comment les Chinois font pour taper sur un clavier ?”, mais aussi “Où vont les fichiers quand on les détruit ?”, “C’est quoi le com dans .com ?” Évidemment, les questions des enfants intéressent aussi les adultes qui n’osent pas les poser. On essaie donc de faire des réponses au niveau de l’enfant mais aussi d’aller un petit peu au-delà, et j’ai trouvé cela vraiment intéressant de m’adresser aux différents publics.

    Manuel NSI
    Numérique et Sciences Informatiques Terminale Spécialité, de Michel Beaudouin-Lafon, Benoit Groz, Emmanuel Waller, Cristel Pelsser, Céline Chevalier, Philippe Marquet, Xavier Redon, Mathieu Nancel, Gilles Grimaud. 2022.

    Je suis très attaché à la transmission, je suis issu d’une famille d’enseignants du secondaire, et j’aime moi-même enseigner. J’ai dirigé et participé à la rédaction de manuels scolaires des spécialités informatiques SNT et NSI au Lycée. Dans le programme officiel de NSI issu du ministère, une ligne parle de l’interaction avec l’utilisateur comme étant transverse à tout le programme, ce qui veut dire qu’elle n’est concrètement nulle part. Mais je me suis dit que c’était peut-être l’occasion d’insuffler un peu de ma passion dans ce programme, que je trouve par ailleurs très lourd pour des élèves de première et terminale, et de laisser une trace ailleurs que dans des papiers de recherche…

    Serge Abiteboul (Inria) et Chloé Mercier (Université de Bordeaux)

    https://binaire.socinfo.fr/les-entretiens-de-la-sif/

     

  • Moliverse ou la Fusion du Micromonde et de l’Univers

    La visualisation de données scientifiques connaît une transformation radicale depuis quelques années due à l’accroissement du volume de données et de la puissance de calcul, mais aussi grâce à la prolifération d’outils informatiques permettant l’exploration de ces données. Imaginez pouvoir vous balader dans l’immensité du cosmos, explorer aussi bien l’infiniment petit que l’infiniment grand, sans pour autant vous lever de votre chaise. Vous pourriez, par exemple, découvrir les compositions moléculaires de l’atmosphère de plusieurs planètes révélées par le télescope James Webb. C’est l’objectif ambitieux de Moliverse, un logiciel unifiant la visualisation moléculaire avec la visualisation de phénomènes astrophysiques. Mathis Brossier nous explique ici comment ce logiciel fonctionne et quels sont ces objectifs. Lonni Besançon et Pascal Guitton.

    Moliverse [1] est une intégration du logiciel de visualisation moléculaire VIAMD [2] avec le logiciel d’astronomie OpenSpace [3]. Ce mariage permet de représenter des structures moléculaires en contexte avec des corps célestes. Concrètement, Moliverse vous permet de voir, par exemple, la composition gazeuse d’une atmosphère planétaire ou les structures moléculaires dans les traînées de comètes, tout en conservant une vue d’ensemble de l’univers.

    Le Contexte Scientifique

    Au fil des années, les simulations de dynamique moléculaire ont atteint un niveau de réalisme impressionnant. Cependant, les outils utilisés par les chimistes et biologistes pour visualiser ces simulations restent souvent confinés à une utilisation experte. Des logiciels comme VMD [4], Avogadro [5] ou VIAMD sont essentiels pour les experts, mais manquent de fonctionnalités pour rendre ces données accessibles à un public non spécialiste.

    L’idée est donc de rendre plus accessibles ces outils d’experts, pour éduquer et attiser la curiosité du grand public [6, 7]. En combinant la puissance de ces outils avec des environnements immersifs comme les planétariums ou les écrans interactifs, on peut créer des expositions éducatives spectaculaires.

    Les Défis Techniques

    L’un des défis majeurs de Moliverse est de gérer les échelles extrêmes. Une simple molécule est incroyablement petite, mesurant à peine quelques ångströms (de l’ordre de 0,1 nanomètre), tandis que l’univers observable s’étend sur des millions d’années-lumière (c’est-à-dire des dizaines de milliards de milliards (oui, deux fois) de kilomètres). Il est alors très difficile de percevoir la différence d’échelle entre une molécule et un corps céleste.

    Moliverse résout ce problème en utilisant des techniques innovantes de transition d’échelle. Plutôt que de passer de manière linéaire d’une échelle à l’autre, ce qui serait impraticable, Moliverse utilise des encadrements illustratifs qui aident à séparer visuellement les différentes échelles.

    De gauche à droite: ① Atmosphère de la Terre à 10km d’altitude ② Nuage de méthane sur Titan ③ Comparaison de molécules organiques ④ Visualisation dans un planétarium.

    Application et Impact

    L’objectif principal de Moliverse réside dans son application comme outil pédagogique. Imaginez-vous dans un planétarium, où l’on vous montre d’abord les planètes, les étoiles, les galaxies et leurs compositions. Ensuite, la caméra zoome jusqu’à la surface d’une planète, révélant la composition moléculaire de son atmosphère, et la plaçant directement dans le contexte de sa découverte. En changeant de point de vue, on peut voir comment la densité et la composition des gaz changent à différentes altitudes et sur différentes planètes. Par exemple, l’atmosphère terrestre est dense et principalement composée d’azote et d’oxygène, tandis que celle de Mars est beaucoup plus fine et dominée par le dioxyde de carbone.

    Un autre usage intéressant de Moliverse est de permettre aux scientiques de visualiser leurs données et leurs simulation de dynamiques moléculaires dans plusieurs environnements, allant de l’ordinateur personnel pour leurs travaux de recherche à des larges écrans ou des planétariums pour de l’enseignement tout en incluant des espaces d’analyses collaboratifs.

    Moliverse ouvre la voie à une nouvelle forme de communication scientifique. Les enseignants, chercheurs et vulgarisateurs scientifiques disposent désormais d’un outil pour expliquer des concepts complexes de manière visuelle et immersive. Avec l’arrivée du télescope James Webb et les découvertes qu’il promet, la capacité de Moliverse à montrer des compositions chimiques d’exoplanètes en contexte sera particulièrement précieuse. Pour améliorer cet outil, il convient maintenant d’explorer comment permettre une interaction fluide, naturelle, et efficace [8] entre toutes ces échelles, autant pour les chercheurs lorsqu’ils effectuent leurs recherches, que pour le public lors de démonstrations.

    Références

    [1] M. Brossier et al., “Moliverse???: Contextually embedding the microcosm into the universe,” Computers & Graphics, vol. 112, pp. 22–30, May 2023, doi: 10.1016/j.cag.2023.02.006.

    [2] R. Skånberg, I. Hotz, A. Ynnerman, and M. Linares, “VIAMD: a Software for Visual Interactive Analysis of Molecular Dynamics,” J. Chem. Inf. Model., vol. 63, no. 23, pp. 7382–7391, Dec. 2023, doi: 10.1021/acs.jcim.3c01033.

    [3] A. Bock et al., “OpenSpace: A System for Astrographics,” IEEE Trans. Visual. Comput. Graphics, pp. 1–1, 2019, doi: 10.1109/TVCG.2019.2934259.

    [4] W. Humphrey, A. Dalke, and K. Schulten, “VMD: visual molecular dynamics,” J Mol Graph, vol. 14, no. 1, pp. 33–38, 27–28, Feb. 1996, doi: 10.1016/0263-7855(96)00018-5.

    [5] M. D. Hanwell, D. E. Curtis, D. C. Lonie, T. Vandermeersch, E. Zurek, and G. R. Hutchison, “Avogadro: an advanced semantic chemical editor, visualization, and analysis platform,” J Cheminform, vol. 4, p. 17, Aug. 2012, doi: 10.1186/1758-2946-4-17.

    [6] A. Ynnerman, P. Ljung, and A. Bock, “Reaching Broad Audiences from a Science Center or Museum Setting,” in Foundations of Data Visualization, M. Chen, H. Hauser, P. Rheingans, and G. Scheuermann, Eds., Cham: Springer International Publishing, 2020, pp. 341–364. doi: 10.1007/978-3-030-34444-3_19.

    [7] S. Schwan, A. Grajal, and D. Lewalter, “Understanding and Engagement in Places of Science Experience: Science Museums, Science Centers, Zoos, and Aquariums,” Educational Psychologist, vol. 49, no. 2, pp. 70–85, Apr. 2014, doi: 10.1080/00461520.2014.917588.

    [8] L. Besançon, A. Ynnerman, D. F. Keefe, L. Yu, and T. Isenberg, “The State of the Art of Spatial Interfaces for 3D Visualization,” Computer Graphics Forum, vol. 40, no. 1, pp. 293–326, Feb. 2021, doi: 10.1111/cgf.14189.



     

  • Les Metavers peuvent-il se mettre au vert ?

    Loin d’être immatériel, le numérique est par nature ambivalent vis à vis des enjeux environnementaux. Il incarne d’un côté la promesse de catalyser des solutions pour réduire les pollutions d’autres secteurs (agriculture, énergie, mobilité, bâtiment, etc.), mais d’un autre côté il est également lui même source d’externalités négatives directes et indirectes. Benjamin Ninassi et Marie Véronique Gauduchon nous détaillent cette dualité. Pascal Guitton, Serge Abiteboul.

    Réalisée avec Midjourney

    Le secrétaire général adjoint de l’Union Internationale des Télécommunications l’a rappelé en septembre 2023  : pour tenir l’Accord de Paris sur le climat, le numérique doit réduire de 45% ses émissions de Gaz à Effet de Serre d’ici 2030, et les diviser par 10 d’ici 2050, conformément à la trajectoire Science Based Target Initiative (SBTi). Il a également rappelé que cette réduction doit se faire tout en permettant l’émergence et le déploiement de solutions en faveur de la décarbonation d’autres secteurs.

    Or la tendance actuelle en France, d’après l’étude ADEME/ARCEP de début 2023, est à une augmentation de 45% des émissions liées à nos usages numériques d’ici 2030.

    Des scénarios incompatibles

    Cette incompatibilité entre la trajectoire cible et de la tendance actuelle en matière de lutte contre le réchauffement climatique apparaît comme un enjeu majeur de la transition environnementale du secteur. A noter qu’en plus de participer à l’émission de GES, le numérique contribue à dépasser d’autres limites planétaires, à travers par exemple l’activité extractive nécessaire à la production des métaux qui composent les équipements. D’ailleurs, indépendamment des enjeux environnementaux, se pose une question de disponibilité de certaines ressources métalliques critiques dont la plupart sont en concurrence avec d’autres transitions comme la production d’énergie décarbonée ou l’électrification de la mobilité.

    Derrière la notion de Métavers, il y a surtout une agrégation de technologies qui sert une finalité, un usage. La question pour demain n’est pas tant de savoir s’il faut aller ou pas vers le Métavers, mais de définir quels usages du numérique sont compatibles avec la trajectoire environnementale cible, quels usages peuvent réellement contribuer à réduire les impacts environnementaux d’autres secteurs, en se substituant par exemple à des usages plus carbonés. Cette évaluation des gains doit se faire dans un cadre méthodologique standardisé, systémique, intégrant les effets rebonds et allant au delà des effets d’annonce.

    Une nécessaire planification de la décroissance des impacts

    Pour tenir un budget, afin d’éviter les crises, il est nécessaire de planifier en amont ses dépenses. Cette planification se fait en deux phases : une phase de priorisation pour hiérarchiser les dépenses selon leur importance, et une phase de quantification afin de ne pas finir en négatif.  Ainsi, le budget devient le cadre d’opération. Comme dit plus haut, le cadre environnemental pour le secteur du numérique, c’est une réduction de -45% de ses émissions de GES d’ici 2030, et une division par 10 d’ici 2050.

    Heureusement, plusieurs leviers sont activables pour réduire les impacts du numérique, à commencer par poursuivre et accélérer les travaux de recherche et leur déploiement dans l’industrie sur la frugalité des algorithmes, l’écoconception logicielle, l’amélioration du refroidissement et la réduction de la consommation énergétique des centres de données. Mais malgré ces travaux en cours depuis de nombreuses années maintenant, la tendance actuelle le prouve : optimiser une partie du système ne suffit pas dans un contexte de croissance des usages et du nombre d’utilisateurs au niveau mondial. Pour limiter les effets rebonds, il apparaît nécessaire de combiner ces gains d’efficacité à une indispensable sobriété numérique, en agissant aussi sur les usages.

    Le Secrétariat Général à la Planification Écologique a d’ailleurs courageusement entamé cet exercice. Dans un rapport sur la planification écologique dans l’énergie on peut y voir une proposition de hiérarchisation des usages de la biomasse locale avec une liste d’usages considérés comme prioritaires, d’usages à interroger (parmi lesquels figure par exemple le trafic aérien), et enfin une liste d’usages à réduire.

    Le numérique a besoin de la même démarche, afin de pouvoir planifier et organiser sa décarbonation, en hiérarchisant ses usages.

    Comme pour les autres secteurs, il ne s’agit pas de faire ces choix à un niveau technologique, et d’opposer l’Intelligence Artificielle à l’Internet des Objets ou aux technologies immersives : c’est au niveau des usages, des fournisseurs de services numériques et de plateformes que les enjeux de régulation se situent et que cette priorisation doit intervenir.

    Ne plus confondre la fin et les moyens : revenir à l’usage, au service rendu

    Cette nécessité se retrouve d’ailleurs dans le Référentiel Général de l’Écoconception des Services Numériques, ouvert jusque fin novembre 2023 à la consultation publique, et qui pourrait être un levier activable d’une stratégie de décarbonation du secteur. Son premier critère est rédigé ainsi : « Le service numérique a-t-il été évalué favorablement en termes d’utilité en tenant compte de ses impacts environnementaux ? »

    Une fois qu’on aura priorisé ces usages et permis de questionner l’utilité, il apparaît nécessaire d’être en mesure d’évaluer les impacts, toujours dans cette logique budgétaire. Concernant les Métavers et le secteur de la culture numérique, des travaux sont en cours, d’ailleurs en partie financés par le ministère de la Culture. Parmi ces initiatives on retrouve par exemple le calculateur carbone Jyros pour le secteur des jeux vidéo, ou le projet CEPIR qui produit les premières données d’impacts environnementaux d’œuvres immersives. Améliorer la fiabilité de ces évaluations nécessite de poursuivre et même d’accélérer ces travaux dans une optique de standardisation méthodologique.

    Aucun scénario prospectif compatible avec l’Accord de Paris n’envisage à ce stade un déploiement massif dans tous les foyers de nouveaux équipements connectés qui s’additionneraient à l’existant, comme les smartphones se sont ajoutés aux télévisions, aux ordinateurs, aux tablettes, et dont les cycles d’évolution technologique sont très courts, ce qui est le cas des casques de réalité virtuelle. Un numérique résilient et durable est un numérique qui stabilise et réduit le renouvellement des équipements, qui permet la substitution et non l’empilement. Le secteur du numérique, comme les autres secteurs, a besoin de faire preuve de techno-discernement. Cette approche consiste à imaginer, construire, déployer les services, outils et plateformes numériques de demain, qui fonctionnent au maximum avec les infrastructures et les équipements d’aujourd’hui voire d’hier. Cette approche, qui peut s’apparenter à une approche low-tech pour le numérique, est à développer aussi bien via des travaux de recherche multidisciplinaires que via l’émergence de solutions industrielles innovantes. Elle nécessite de s’intéresser tout autant aux usages qu’aux technologies et aux infrastructures sur lesquelles elles s’appuient.

    Mais d’ailleurs, peut-il exister des Métavers low-tech ?

    Réalisée avec Midjourney

    Malgré ces constats, certains usages des technologies immersives pourraient être compatibles avec la trajectoire SBTi, par exemple en réduisant l’impact de la mobilité en se substituant à des déplacements nécessairement carbonés.

    Un exemple qui va dans le sens du low-tech, c’est de miser sur des technologies déjà massivement déployées, à l’image de workadventure . Cette solution open source permet de contrôler un avatar dans un environnement virtuel en 2D à travers un simple navigateur web, et d’interagir via les périphériques (caméra, micro, etc.) du terminal avec les autres avatars à proximité. Le renforcement de la co-présence et de l’immersion par rapport à la visioconférence classique, sans introduire de nouveaux équipements, est un enjeu environnemental important pour réduire l’impact de la mobilité professionnelle.

    Mutualiser et partager, justice climatique et justice numérique

    Une autre forme de Métavers à faible impact serait basée sur la mutualisation d’équipements immersifs via les centres culturels comme des médiathèques par exemple, à l’image d’une des propositions du rapport exploratoire sur le Métavers, permettant la visite de sites culturels inaccessibles via une mobilité bas carbone. Un avantage majeur de mutualiser l’accès est de rendre caduque la captation de données personnelles, et le développement d’une économie de l’attention basée sur le traitement et la collecte de ces données. En effet, la collecte, le stockage et le traitement de données personnelles et d’usage des plateformes nécessitent d’importantes quantités de ressources matérielles et d’énergie. Ces dépenses servent directement certains modèles économiques (économie de l’attention, ciblage publicitaire) et non pas le service final rendu aux usagers.

    En augmentant exponentiellement les possibilités d’interaction, les Métavers permettraient de capter des quantités d’autant plus astronomiques de données.

    Il y a donc un enjeu environnemental important à réguler les usages pour ne pas permettre à ce type de modèle économique d’être transposé dans de futurs mondes immersifs.

    Réalisée avec Midjourney

    Enfin, à une échelle mondiale une question d’équité majeure se pose. Dans le cadre d’un budget environnemental compatible avec l’Accord de Paris, il est donc nécessaire d’opérer des arbitrages. Peut-on raisonnablement à la fois envisager envoyer dans des Métavers high-tech une population déjà par ailleurs largement connectée et outillée numériquement, tout en ayant les ressources nécessaires pour déployer les infrastructures réseaux, les centres de données et les deux ou trois milliards de terminaux permettant de connecter à internet les 33% de la population mondiale qui ne l’est toujours pas en 2023 ?

    Benjamin Ninassi, Adjoint au responsable du programme Numérique et Environnement d’Inria
    & Marie Véronique Gauduchon, Conseillère impact environnemental VR – CEPIR (Cas d’études pour un immersif responsable).

  • L’avenir de la réalité virtuelle sera hybride et physiologique

    Réalité virtuelle, réalité augmentée, interfaces cerveau-ordinateur (BCI en anglais), autant de domaines relativement peu connus du grand public et qui sont appelés à se développer dans un futur proche. Pour mieux comprendre quelles questions ils soulèvent, nous nous sommes entretenus avec Anatole LECUYER (Directeur de recherches Inria à Rennes).  Pascal Guitton 

    Binaire : pourrais-tu commencer par nous expliquer ton parcours de formation ?

    Anatole Lecuyer : Après un bac scientifique et des classes préparatoires, j’ai intégré l’école Centrale de Lille. La formation généraliste m’a globalement intéressé mais je me suis surtout amusé pendant mon stage de 3ème année. Je suis allé à l’université Simon Fraser à Vancouver où j’ai développé un outil de simulation visuelle pour une main robotisée. Ce fut une révélation : avec ce type de recherches je pouvais enfin faire dialoguer mes intérêts pour la science et pour les expressions  graphiques voire artistiques. Je ne m’en rendais pas compte à cette époque (été 1996) mais j’avais la chance de participer à l’émergence de la réalité virtuelle qui était encore balbutiante et pratiquement inexistante en France.

    Anatole LECUYER – Copyright Innovaxiom

    Après ce stage, j’ai travaillé pendant deux ans dans l’industrie aéronautique mais avec comme objectif de préparer une thèse et tout d’abord de composer le sujet qui m’intéressait. En 1998, j’ai démarré une thèse à Orsay sous la direction de Sabine Coquillart (Inria) et Philippe Coiffet (CNRS) sur l’utilisation des retours haptiques et visuels pour la simulation aéronautique en lien avec Aérospatiale (devenue EADS par la suite). C’était un sujet très précis, « délimité » comme je l’avais souhaité, mais je dois dire qu’un grain de sable s’y est introduit : le dispositif haptique que j’utilisais est tombé en panne et a été indisponible pendant 6 mois. Il a donc fallu « réinventer » une nouvelle approche et m’est alors venu l’idée du pseudo-haptique : comment produire des sensations haptiques sans utiliser aucun dispositif mécanique (ce que faisait le bras robotisé en panne) et en les remplaçant par des stimuli visuels. Comment donc générer des « illusions haptiques » exploitant un autre sens : la vision. Il est amusant de constater avec le recul que ce travail a été couronné de succès alors qu’il n’était absolument pas planifié mais résultait d’un accident de parcours ! A la fin de ma thèse soutenue en 2001, j’avais trouvé ma voie : je voulais faire de la recherche en réalité virtuelle mon métier.

    B : parle-nous de ce début de carrière

    AL : Après un an passé au CEA, j’ai été recruté en 2002 comme chargé de recherche Inria dans l’équipe SIAMES à Rennes. La première chose que je retiens est le décalage entre d’une part, l’impression d’avoir enfin réussi à atteindre un objectif préparé de façon intensive depuis plusieurs années et après un processus de sélection assez complexe et puis, d’autre part, le démarrage d’une nouvelle vie scientifique qui était totalement à construire. Cela n’a pas été simple ! Parmi beaucoup d’autres choses, je suis gré à Bruno Arnaldi, le responsable de SIAMES, de m’avoir proposé de travailler immédiatement avec un stagiaire pour en quelque sorte relancer la machine, explorer de nouvelles voies et finalement rebâtir un projet scientifique. C’est en tout cas, une expérience qui me sert quand, à mon tour, j’accueille aujourd’hui un nouveau chercheur dans l’équipe.

    binaire : tu as travaillé sur beaucoup de sujets, quel domaine te semble central dans ton activité

    AL : sans nul doute, c’est la réalité virtuelle (RV) qui est au cœur de toutes mes recherches, que ce soit pour l’interaction, les équipements technologiques, la perception humaine… Je la définirais comme « la mise en œuvre de technologies immersives qui permettent de restituer en temps réel et d’interagir avec des univers synthétiques via des interfaces sensorielles permettant de procurer un sentiment de « présence » aux utilisateurs ». Je tiens à rappeler que même si beaucoup la découvrent depuis peu, elle existe depuis plus d’une quarantaine d’années avec une communauté très active de chercheurs et d’ingénieurs, des concepts éprouvés, des revues/conférences…. Située à l’intersection de domaines variés comme l’interaction hommes-machine, le traitement du signal, l’intelligence artificielle, l’électronique, la mécatronique sans oublier les facteurs humains (perception, sciences cognitives), cette technologie permet de simuler la plupart des activités humaines, ce qui ouvre notre travail à des collaborations interdisciplinaires extrêmement variées et enrichissantes.

    B : tu pourrais nous fournir un exemple ?

    AL : en 2005, nous avons imaginé de combiner la RV avec les technologies d’interfaces cerveau-ordinateur (ICO, ou BCI pour Brain Computer Interface en anglais) et le traitement des signaux cérébraux issus d’électro-encéphalogrammes (EEG) ouvrant ainsi une voie nouvelle d’hybridation technologique. A cette époque, l’objectif principal était d’interagir avec des environnements virtuels ; on parlait alors de commande « par la pensée », ce qui était un abus de langage. Aujourd’hui on parle plutôt de commande « par l’activité cérébrale », ce qui est plus précis. Concrètement, il s’agit de détecter l’activité cérébrale et d’interpréter les signaux recueillis comme des entrées pour piloter un ordinateur ou modifier un environnement virtuel. En 4 ans, nous avons développé un logiciel baptisé OpenViBE qui s’est vite imposé comme une plate-forme de référence dans le domaine. Chaque nouvelle version est téléchargée environ 5000 fois et l’article le présentant a été cité environ 800 fois. Mais le plus intéressant est de constater qu’il réunit des communautés très diverses : neurosciences bien entendu mais aussi RV, arts, jeux vidéo, robotique… Avec Yann Renard et Fabien Lotte les co-créateurs d’OpenViBE, nous sommes toujours aussi émerveillés de cette réussite.

    Jeu vidéo « multi-joueur » contrôlé directement par l’activité cérébrale. Les deux utilisateurs équipés de casques EEG jouent ensemble ou l’un contre l’autre dans un jeu de football simplifié où il faut marquer des buts à droite (ou à gauche) de l’écran en imaginant des mouvements de la main droite (ou gauche) – © Inria / Photo Kaksonen

     B : et si maintenant nous parlions d’Hybrid l’équipe de recherche que tu animes à Rennes ?

    AL : si je devais résumer la ligne directrice d’Hybrid, je dirais que nous explorons l’interface entre les technologies immersives et d’autres approches scientifiques notamment en termes d’exploitation de signaux physiologiques. Ce qui était un pari il y a 10 ans s’est progressivement imposé comme une évidence. On peut par exemple remarquer qu’une des évolutions des casques RV est d’y intégrer de plus en plus de capteurs physiologiques, ce qui réalise notre hypothèse initiale.

    Pour illustrer cette démarche, je peux évoquer des travaux réalisés pendant la thèse de Hakim Si-Mohammed et qui ont été publiés en 2018. C’était la première fois que l’on utilisait conjointement un casque de Réalité Augmentée (Microsoft Hololens) et un casque EEG. Nous avons d’abord montré qu’il était possible d’utiliser simultanément ces deux technologies, sans risque et avec des bonnes performances. Puis, nous avons proposé plusieurs cas d’usage, par exemple pour piloter à distance un robot mobile, ou encore pour contrôler des objets intelligents dans une maison connectée (collaboration avec Orange Labs) permettant notamment d’allumer une lampe ou d’augmenter le volume de la télévision sans bouger, en se concentrant simplement sur des menus clignotants affichés dans les lunettes de réalité augmentée.

    Utilisation conjointe de lunettes de réalité augmentée et d’une interface neuronale (casque électro-encéphalographique) pour piloter à distance et sans bouger un robot mobile

     binaire : en 10 ans, comment observes-tu l’évolution de l’équipe ?

    AL : au démarrage, nous avons beaucoup travaillé sur le plan scientifique pour jeter les bases de notre projet. Au fil des rencontres que nous avons eues la chance de réaliser dans nos différents projets, la question des impacts sociétaux est devenue de plus en plus centrale dans nos activités. Je pense notamment au domaine médical, d’abord grâce à OpenViBE qui était initialement conçu pour pouvoir assister des personnes en situation de handicap privées de capacité d’interagir.

    On peut ensuite évoquer le projet HEMISFER initié avec Christian Barillot pour contribuer à la rééducation de personnes dépressives chroniques ou dont le cerveau a subi des lésions post-AVC en développant des outils combinant EEG et IRM en temps réel. Bien que lancé en 2012, nous n’obtiendrons les résultats définitifs de ce travail que cette année en raison de la complexité des technologies mais aussi des essais cliniques. Mais les premiers résultats à notre disposition sont déjà très positifs. Dans cette dynamique, nous avons mené plusieurs sous-projets autour du NeuroFeedback, c’est-à-dire des techniques permettant à un utilisateur équipé d’un casque EEG d’apprendre progressivement à contrôler son activité cérébrale, grâce à des retours sensoriels explicites. Une des tâches les plus employées pour les tester consiste à demander à l’utilisateur de faire monter une jauge visuelle en essayant de modifier activement ses signaux EEG. On observe qu’il est parfois difficile, voire même impossible pour certaines personnes, de maîtriser leur activité cérébrale pour générer les signaux utiles pour interfacer un tel système informatique. Nous travaillons pour tenter de comprendre ces difficultés : sont-elles liées à des traits de personnalité ? Sont-elles amplifiées par un déficit d’accompagnement du système ? C’est un sujet passionnant. Et les perspectives d’applications thérapeutiques, notamment pour la réhabilitation, sont très riches.

    Il y a 3 ans, grâce à l’arrivée dans notre équipe de Mélanie Cogné qui est également médecin au CHU de Rennes, nous avons franchi un pas supplémentaire en pouvant dorénavant tester et évaluer nos systèmes au sein d’un hôpital avec des patients. Cette démarche que nous n’imaginions pas il y une quinzaine d’années s’est progressivement imposée et aujourd’hui, nous ressentons au moins autant de plaisir à voir nos travaux utilisés dans ce contexte qu’à obtenir un beau résultat scientifique et à le voir publié.

    Je pense par exemple au projet VERARE que nous avons lancé pendant la crise COVID avec le CHU Rennes. Nous étions isolés chacun de notre côté et il a fallu coordonner à distance le travail de plus d’une dizaine de personnes ; ce fut très complexe mais nous avons réussi à le faire. Le projet visait à faciliter la récupération des patients se réveillant d’un coma profond et qui incapables de se nourrir ou de se déplacer. Notre hypothèse était qu’une expérience immersive dans laquelle l’avatar associé au patient se déplacerait chaque jour pendant 9 minutes 10 jours de suite dans un environnement virtuel agréable (une allée boisée dans un parc par exemple) contribuerait à préserver, voire rétablir des circuits cérébraux afin de déclencher un processus de rééducation avant même de quitter leur lit. Nous avons donc équipé des patients avec un casque de RV dès leur réveil au sein du service de réanimation, ce qui n’avait encore jamais été réalisé. Pour évaluer de façon rigoureuse cette expérimentation, les médecins réalisent actuellement une étude clinique qui n’est pas encore terminée, mais d’ores et déjà, nous savons que les soignants et les patients qui utilisent notre dispositif en sont très satisfaits.

    binaire : comment souhaites-tu conclure ?

    AL : Eh bien, en évoquant l’avenir, et le chemin qu’il reste à parcourir. Car même si la communauté des chercheurs a fait avancer les connaissances de façon spectaculaire ces 20 dernières années, il reste encore des défis majeurs et très complexes à relever.  Tellement complexes, qu’il est indispensable de travailler de façon interdisciplinaire autour de plusieurs axes, pour espérer améliorer à l’avenir et entre autres : les dispositifs immersifs (optique, mécatronique), les logiciels (réseaux, architectures), les algorithmes  (modélisation, simulation d’environnements toujours plus complexes), les interactions humain-machine 3D (notamment pour les déplacements ou les sensations tactiles) ou encore la compréhension de la perception des mondes virtuels et ses mécanismes sous-jacents.

    Tous ces défis laissent espérer des perspectives d’application très intéressantes dans des domaines variés : la médecine, le sport, la formation, l’éducation, le patrimoine culturel, les processus industriels, etc… s

    Mais en parallèle à ces questionnements scientifiques riches et variés, apparaissent d’autres enjeux très importants liés à la diffusion à grande échelle de ces technologies, avec des réflexions à mener sur les aspects éthiques, juridiques, économiques, et bien-sûr environnementaux. Tous ces sujets sont passionnants, et toutes les bonnes volontés sont les bienvenues !

    Pascal Guitton

    Références

  • Quand les objets virtuels deviennent palpables

    © Inria / Photo Kaksonen

    Doté d’un casque de réalité virtuelle, un utilisateur peut manier des objets en 3D. Mais ces derniers sont le plus souvent intangibles. Comment ressentir leur forme, texture, poids ou température, ces informations essentielles pour les appréhender et faciliter leur manipulation ? Simuler ces sensations est l’enjeu des interfaces dites haptiques, des technologies qui stimulent le sens du toucher et du mouvement. Justine Saint-Aubert et Anatole Lécuyer nous en parlent ici. Thierry Vieville.

    Cet article est repris d’un article de La Recherche avec l’aimable autorisation de la Direction de la Rédaction.

    De multiples dispositifs haptiques cherchent à rendre toujours plus tangible le monde virtuel. Les premiers systèmes étaient des bras mécaniques munis de moteurs à leurs articulations. Ils étaient amarrés à une surface fixe, comme une table, d’un côté, et tenus de l’autre par l’utilisateur. En bougeant le bras, on déplaçait son avatar – sa représentation dans le monde virtuel – et les moteurs s’activaient pour produire des forces de résistance, par exemple dès qu’une collision intervenait entre son personnage et un mur virtuel. Ces dispositifs possédaient des espaces de ­travail limités et restreignaient donc fortement les sensations du toucher. Progressivement, d’autres technologies ont vu le jour. Des systèmes portables sont apparus, comme les gants « exosquelettes » dont la structure englobe la main et permet de simuler la saisie d’un objet. Différents types de mécanismes sont à l’essai avec, par exemple, des actionnements par câbles, attachés à des capuchons positionnés sur le bout des doigts et tirés en arrière, grâce à des poulies, par des moteurs sur le poignet. Lorsqu’un moteur est actionné, il génère un effort sur l’extrémité d’un doigt. Le nombre de moteurs peut être multiplié afin d’obtenir des sensations sur plusieurs doigts. De nombreuses autres pistes sont également étudiées, comme les technologies de retour haptique « à distance » fondées sur des émissions d’ultrasons, ou les retours haptiques « de surface » pour ajouter des sensations tactiles aux écrans de téléphones portables. Malgré ces efforts, les sensations restent souvent sommaires, et le « rendu haptique » en réalité virtuelle très loin du compte.

    Préparation de crêpes virtuelles avec des interfaces haptiques à retour d’effort. L’utilisateur peut ressentir physiquement l’interaction avec des liquides comme la pâte à crêpes ou le caramel © Julien Pettré.

    Le défi, exciter les capteurs de la main sans restreindre sa mobilité

    Simuler une sensation haptique est complexe pour plusieurs raisons. Tout d’abord, la main humaine possède une grande mobilité, avec pas moins de 27 os, poignet compris, qui permettent de manipuler une grande variété d’objets. Elle est également l’un des organes les plus sensibles du corps humain, avec de nombreux et minuscules récepteurs enfouis sous la peau et capables de détecter la pression, l’étirement ou encore les vibrations – des mécanorécepteurs. Réussir à exciter tous ces capteurs tactiles sans restreindre la mobilité de la main reste un défi pour la recherche actuelle. Avec la nécessité de concevoir des dispositifs portatifs, donc légers et peu encombrants, la conception mécanique est devenue encore plus complexe. Les gants haptiques doivent généralement utiliser l’avant-bras comme support, ce qui permet de simuler des objets préhensibles, mais pas des objets statiques. Par exemple, l’utilisateur sentira le contact des doigts saisissant une tasse virtuelle, mais il ne pourra pas poser cette tasse sur une table virtuelle : impossible de ressentir la surface et les forces de réaction exercées par cette dernière. Devant la complexité d’obtenir des sensations haptiques exhaustives, des technologies ­simplifiées ont été proposées. Les interfaces « tactiles », par exemple, ne cherchent pas à stopper le mouvement, mais simplement à stimuler certains mécanorécepteurs de la peau. La plupart des manettes de réalité virtuelle actuelles se concentrent sur ce type de retour et utilisent le plus souvent de petits actionneurs envoyant des vibrations dans la main. D’autres dispositifs tactiles vont simuler des sensations de pression, de température ou d’étirement de la peau des doigts. Notre équipe s’intéresse notamment à l’utilisation de légères stimulations électriques, transmises sur la peau par des électrodes, en vue de faire ressentir des informations de contact [1].

    Gant haptique électro-tactile. Les stimulations électriques produites au niveau des phalanges via les électrodes simulent des sensations tactiles liées à l’exploration d’objets virtuels ©Projet TACTILITY.

    Exploiter les failles de notre perception.

    Pour pallier les limites actuelles des technologies, il est également possible d’exploiter les failles de notre perception et de jouer sur des « illusions haptiques ». Ainsi, lorsqu’on appuie sur un ressort et que l’on regarde en même temps, sur un écran d’ordinateur, un piston virtuel se déformer sous cet effet, si ce dernier se modifie grandement et rapidement, on aura la sensation d’effectuer une pression sur un ressort très mou. À l’inverse, si ce même piston virtuel se déforme peu ou lentement à l’écran, on aura alors l’impression que le ressort devient particulièrement dur. En réalité, pendant tout ce temps, notre doigt comprimait le ressort avec une raideur constante ! Cette technique, baptisée « pseudo-haptique », est peu coûteuse, car elle est basée sur de simples effets visuels. Elle a pu être testée à de nombreuses reprises et a notamment fait ses preuves pour simuler la ­texture d’une image, le poids d’un objet ou encore la viscosité d’un liquide [2]. Dans certains cas, ce type d’approche représente donc une alternative très intéressante aux technologies haptiques traditionnelles et plus complexes, ou en attendant que celles-ci deviennent plus accessibles. L’objectif restant toujours de réussir à berner notre cerveau et lui faire croire à une autre réalité. Car, si généralement on « ne croit que ce que l’on voit », en réalité virtuelle, pouvoir toucher augmente d’autant la crédibilité.

    Effets visuels pour simuler des sensations tactiles sur une tablette. En jouant sur des déformations du curseur qui entoure le doigt il devient possible de simuler artificiellement le côté collant ou texturé d’une image ©Antoine Costes. Voir aussi la présentation vidéo.

    [1] S. Vizcay et al., ICAT-EGVE 2021, hal-03350039, 2021.
    [2] A. Lécuyer, Presence: Teleoperators and Virtual Environments, 18, 39, 2009.

    Justine Saint-Aubert est mécatronicienne, chercheuse postdoctorante dans l’équipe Hybrid.
    Anatole Lécuyer est informaticien, Directeur de recherche Inria, responsable de l’équipe Hybrid (Inria, université de Rennes, Insa Rennes, Irisa, CNRS).

    Pour aller plus loin:  The Kinesthetic HMD (vidéo).

  • Interfaces numériques : mille nuances de liberté

    Devant notre écran de smartphone ou d’ordinateur, nous avons souvent l’impression de nous faire influencer, embarquer, accrocher, balader, manipuler, enfermer, empapaouter peut-être,… Où est passée notre liberté de choix ? Cet article de Mehdi Khamassi nous aide à nous y retrouver. Mais attention, il ne se contente pas d’aligner quelques formules simplistes. Il fait appel à notre liberté de réfléchir. Saisissons-là ! Serge Abiteboul & Thierry Viéville.

    Toute une série de rapports et de propositions de régulations des interfaces numériques (notamment les réseaux sociaux) est parue ces derniers mois, aux niveaux français, européen et international. Un des objectifs importants est de limiter les mécanismes de captation de l’attention des utilisateurs, qui réduisent la liberté des individus en les maintenant engagés le plus longtemps possible, en les orientant subrepticement vers des publicités, ou en les incitant malgré eux à partager leurs données.

    Le rapport de la Commission Bronner considère que « ce que nous pourrions penser relever de notre liberté de choix se révèle ainsi, parfois, le produit d’architectures numériques influençant nos conduites […] se jou[ant] des régularités de notre système cognitif, jusqu’à nous faire prendre des décisions malgré nous »[1]. Le rapport du Conseil National du Numérique stipule que « par certains aspects, l’économie de l’attention limite donc notre capacité à diriger notre propre attention, et in fine, notre liberté de décider et d’agir en pleine conscience »[2]. Pour le Conseil de l’Europe « les outils d’apprentissage automatique (machine learning) actuels sont de plus en plus capables non seulement de prédire les choix, mais aussi d’influencer les émotions et les pensées et de modifier le déroulement d’une action » ce qui peut avoir des effets significatifs sur « l’autonomie cognitive des citoyens et leur droit à se forger une opinion et à prendre des décisions indépendantes »[3]. Enfin, l’OCDE considère que ces influences relèvent parfois d’une véritable « manipulation », en particulier dans le cas de ce qu’on appelle les « dark patterns », qui désignent toute configuration manipulatrice des interfaces de façon à orienter nos choix malgré nous[4]. Certains auteurs parlent même de design de produits « addictifs »[5], qui de façon similaire aux machines à sous des casinos, « enferment les gens dans un flux d’incitation et de récompense »[6], « ne laissant plus aucune place au libre arbitre individuel »[7].

    On voit donc que la préservation de l’autonomie et de la liberté de choix en conscience des utilisateurs est un des enjeux majeurs de la régulation des interfaces numériques.

    Toutefois ces discussions sont minées par le très vieux débat sur le « libre arbitre » (entendu comme « libre décret », selon les termes de Descartes). Pour certains dont la position est dite « réductionniste », celui-ci n’existe pas, car tout se réduit aux interactions matérielles à l’échelle atomique. Il n’y a donc pas de problème de réduction de liberté par les interfaces numériques puisque nous ne sommes déjà pas libres au départ, du fait du déterminisme qui résulte du principe de causalité, épine dorsale de la science[8]. Ceci conduit à un fatalisme et à une déresponsabilisation. Circulez, il n’y a rien à voir !

    A l’opposé, pour les tenants d’une position dite « libertarianiste », nous restons toujours libres puisqu’une entité immatérielle, notre âme, elle-même totalement « libre » en cela qu’elle ne subirait aucune influence externe, déterminerait causalement notre corps à agir selon notre propre volonté. Nous restons donc toujours entièrement libres et responsables de nos actes sur les interfaces numériques, et il n’y a pas lieu de les réguler. Continuez de circuler !

    Une troisième voie est possible

    Il existe pourtant une troisième voie, naturaliste[9] et ancrée dans la science, dans laquelle le déterminisme n’empêche pas une autre forme de liberté que le dit « libre arbitre ». Une forme qui préserve la responsabilité de l’humain pour ses actes et son aptitude au questionnement éthique. Il s’agit d’une liberté de penser et d’agir par nous-mêmes, selon nos déterminismes internes et moins selon les déterminismes externes. Pour simplifier, le ratio entre nos déterminismes internes et externes dans nos prises de décision pourrait ainsi définir une sorte de quantification de notre degré de liberté. Par exemple, si un stimulus externe comme la perception d’une publicité pour un produit sur Internet me pousse à cliquer dessus sans réfléchir (type de comportement qualifié de stimulus-réponse en psychologie, et que je mets dans la catégorie déterminisme externe pour simplifier), je suis moins libre que lorsque je décide sans voir de publicité qu’il est l’heure d’aller sur un site commercial car j’ai besoin d’acheter un produit en particulier (dit comportement orienté vers un but en psychologie). Je suis davantage libre dans le deuxième cas puisque ma décision est guidée par mon intention, même si des mécanismes déterministes internes à mon système nerveux m’ont conduit à formuler cette intention et à prévoir un plan d’actions en conséquence. Pourtant, il n’est pas si simple de définir ce qui est interne et qui reflèterait notre nature, et ce qui est externe. Toute chose qui nous affecte dépend à la fois de celle-ci et de ce que nous sommes (l’influence sur moi d’un stimulus tel que la photo d’un produit va dépendre de mon expérience antérieure d’interaction avec des stimuli de ce type, et de nombreux autres facteurs).

    Les dialogues les plus récents entre philosophie et science cognitives[10] montrent comment il est possible de concilier déterminisme, liberté et responsabilité. Ceci est vrai notamment dans la philosophie de Spinoza, qui considère tout d’abord que le corps et l’esprit sont deux modes d’une même substance, deux manières de décrire la même chose dans deux espaces de description différents. Autrement dit, à tout état mental correspond un état cérébral, et il n’y a pas de causalité croisée entre les deux, mais seulement des causalités à l’intérieur de chaque espace : les états mentaux causent d’autres états mentaux, et les états physiques causent d’autres états physiques. Par exemple, la sensation d’avoir faim cause la décision d’aller manger ; ce qui correspond, en parallèle, à une causalité entre une activité neurophysiologique représentant un manque d’énergie pour le corps et une autre activité neurophysiologique qui déclenche une impulsion vers les muscles.

    D’un point de vue scientifique, cela implique qu’il faut éviter de faire de la psychologie une province des neurosciences, en cherchant toutes les explications à l’échelle de l’activité des neurones. De même, toutes les propriétés du vivant ne peuvent pas être réduites aux propriétés des éléments physiques (ni même atomiques) qui le composent. D’une part, les recherches en neurosciences cognitives ont besoin de termes se référant au comportement et aux phénomènes psychologiques pour concevoir des expériences et faire sens des activités cérébrales mesurées[11]. D’autre part, si le naturalisme considère que le déterminisme causal est incontournable, cela n’implique pas nécessairement un réductionnisme. Les sciences actuelles s’inscrivent en effet dans la complexité. Les composantes d’un système complexe, les interactions entre celles-ci, ainsi que leur organisation, font émerger de nouvelles propriétés globales (causalité ascendantes) qui en retour exercent des contraintes sur l’ensemble des parties (causalités descendantes)[12]. Ainsi, il n’est pas possible de réduire les propriétés d’un système complexe aux propriétés des éléments qui le composent. C’est la notion d’émergence. Par exemple, dans un certain contexte et dans un certain état physiologique, je peux ressentir une émotion. Puis, par l’interaction avec la société, je peux mettre un mot sur cette émotion, donc mieux la catégoriser, mieux la comprendre. En retour, ma connaissance et ma compréhension du mot pourront elles-mêmes moduler l’émotion que je ressens.

    Une liberté par degrés en philosophie comme en psychologie et en neurosciences

    À partir de là, un des apports des dialogues entre philosophie et sciences cognitives consiste à souligner ce qui peut moduler ces différents degrés de liberté possibles à l’humain. Ceci nous donne des indications sur comment réguler les interfaces numériques pour favoriser la liberté plutôt que la réduire, comme c’est le cas actuellement.

    Du côté de la philosophie, Spinoza considère que la connaissance adéquate des causes qui nous déterminent augmente notre liberté. Ce n’est qu’une fois que nous savons qu’un stimulus nous influence que nous pouvons y réfléchir et décider de lutter contre cette influence, ou au contraire de l’accepter lorsqu’elle nous convient. Cela veut dire qu’il faut imposer aux interfaces numériques une transparence sur les stimuli qu’elles utilisent, les algorithmes qui les déclenchent, et les données personnelles sur lesquelles ils s’appuient. Cette transparence permettrait de favoriser notre réflexivité sur nos interactions avec l’interface. Célia Zolynski, professeur de droit à La Sorbonne Paris 1, propose même de consacrer un droit au paramétrage, que la Commission Nationale Consultative des Droits de l’Homme a soutenu[13]. Ce droit permettrait à l’utilisateur de construire son propre espace informationnel afin d’y trier les influences qui lui semblent acceptables pour lui.

    On pourrait y ajouter la possibilité de trier nos automatismes comportementaux sur les interfaces numériques. Du côté de la psychologie, on sait en effet depuis longtemps que toutes nos décisions ne sont pas toujours réfléchies ni guidées par une intention explicite, mais peuvent souvent être automatiques et du coup sujettes à davantage d’influence par les stimuli externes[14]. Par exemple, quand notre esprit critique se relâche, nous avons plus de risques de cliquer sur les publicités qui apparaissent à l’écran. Les connaissances les plus récentes en neurosciences[15] nous permettent de mieux comprendre les mécanismes neuraux par lesquels la perception de stimuli conditionnés (qui ont été associés de façon répétée avec une récompense, comme de la nourriture, du plaisir, ou une reconnaissance sociale) peuvent venir court-circuiter les réseaux cérébraux sous-tendant nos processus délibératifs, et ainsi favoriser la bascule vers des réseaux liés à un mode de contrôle plus implicite et automatique (donc souvent inconscient) de l’action.

    Nous pouvons augmenter notre liberté par le tri de nos automatismes comportementaux, pour choisir ceux que nous gardons. Par exemple, je décide d’accepter l’automatisme de mon comportement quand je trie rapidement mes messages, car c’est ce qui me permet d’être efficace et d’économiser du temps. Mais je décide de combattre mon comportement consistant à automatiquement faire dérouler le fil sans fin d’actualités sur les réseaux sociaux. Car ceci m’amène à être encore connecté sur l’interface une demi-heure plus tard, alors que je voulais n’y passer que 5 minutes.

    Enfin, il faut imposer aux interfaces de mettre en visibilité nos possibilités alternatives d’agir. En effet, la modélisation mathématique en sciences cognitives nous permet dorénavant de mieux comprendre les mécanismes cérébraux qui sous-tendent notre capacité à simuler mentalement les possibilités d’actions alternatives avant de décider. Malgré le déterminisme, grâce à la simulation mentale[16], il est possible de réduire l’influence relative des causes externes (stimuli) au profit de causes internes (notre mémoire, nos intentions ou buts, nos valeurs, notre connaissance d’actions alternatives), ces éléments internes ayant eux-mêmes des causes. C’est ce qui permet au mode intentionnel de prise de décision de s’exercer[17], par opposition aux automatismes comportementaux, et ainsi de nous rendre « libres de l’immédiateté » de l’influence des stimuli externes[18]. Une hypothèse consiste à considérer qu’en augmentant le temps de réflexion, nous augmentons la longueur et la complexité de la chaîne causale qui détermine notre choix d’action, nous pouvons par la réflexion moduler le poids relatif de chaque cause dans l’équation, et ainsi réduire l’influence relative des stimuli externes, donc être plus libres[19].

    On comprend ainsi mieux pourquoi tout ce qui, sur les interfaces numériques, opacifie ou court-circuite notre réflexivité, nous empêche d’évaluer par la simulation mentale les conséquences à long-terme de nos actions. Comme il a été souligné récemment, « ce n’est pas tant que les gens accordent peu d’importance à leur vie privée, ou qu’ils sont stupides ou incapables de se protéger, mais le fait que les environnements [numériques], comme dans le cas des dark patterns, ne nous aident pas à faire des choix qui soient cohérents avec nos préoccupations et préférences vis-à-vis de la personnalisation [des services digitaux] et de la confidentialité des données. »[20]

    Paradoxe d’une société de consommation qui exagère la promotion du libre-arbitre

    Mais la liberté ne dépend pas que de l’individu et de ses efforts cognitifs. Il est important de prendre en compte les travaux en sciences humaines et sociales (SHS), notamment en sociologie, pour comprendre les autres dimensions qui influencent nos choix, comme les interactions avec les autres utilisateurs sur Internet et le rôle de la société. C’est pourquoi il faut ouvrir davantage les données des interfaces numériques aux recherches en SHS.

    Ces réflexions à l’interface entre sciences et philosophie viennent en tout cas appuyer le constat qu’une société qui met en avant des influenceurs commerciaux et politiques, des discours simplistes, des publicités mettant en scène des stéréotypes, contribue à nous habituer à ne pas faire l’effort de sortir de nos automatismes de pensée. Cela contribue même à en créer de nouveaux, donc à nous rendre moins libres et à nous éloigner de l’idéal démocratique.

    Nous sommes face à un paradoxe : celui d’une société de consommation qui acclame le libre arbitre, célèbre notre liberté de rouler plus vite à bord de notre véhicule privatif ou d’accéder à une quantité quasi-infinie de connaissances et d’information sur Internet, et pourtant gonfle notre illusion de liberté absolue tout en orientant nos choix et en nous proposant de choisir entre des produits plus ou moins équivalents. Le business model ancré sur la publicité et la surveillance des données[21] contribue à nous rendre moins libres par ses injonctions, par la manipulation de nos émotions, par le détournement de nos données et la captation de notre attention à nos dépens. Cette année le comité du prix Nobel de la paix a observé que « la vaste machinerie de surveillance des entreprises non seulement abuse de notre droit à la vie privée, mais permet également que nos données soient utilisées contre nous, sapant nos libertés et permettant la discrimination. »[22]

    Conclusion

    Vous l’aurez compris : le déterminisme n’empêche pas l’humain de disposer d’une certaine marge de liberté dans ses décisions. Il est la cause dernière de ses choix d’actions, garde la capacité de la réflexion éthique et ne peut donc être exempté d’une responsabilité sociétale et juridique[1]. Vous avez lu cet article jusqu’au bout. (Merci !) Il y avait des causes à cela. Et votre décision d’y re-réfléchir ou pas aura elle-même des causes internes et externes. Néanmoins, chercher à mieux comprendre ces causes contribue à nous rendre plus libres. Ceci peut nous aider à entrevoir les possibilités qui s’offrent à nous pour réguler les interfaces numériques de façon à ce qu’elles favorisent la liberté de penser par soi-même plutôt qu’elles ne la réduisent.

    Mehdi Khamassi, directeur de recherche en sciences cognitives au CNRS

    Remerciements

    L’auteur souhaite remercier Stefana Broadbent, Florian Forestier, Camille Lakhlifi, Jean Lorenceau, Cyril Monier, Albert Moukheiber, Mathias Pessiglione et Célia Zolynski pour les nombreux échanges qui ont nourri ce texte

    [1] Bigenwald, A., & Chambon, V. (2019). Criminal responsibility and neuroscience: no revolution yet. Frontiers in psychology, 10, 1406.

    [1] Rapport de la Commision Bronner, janvier 2022.

    [2] Rapport du Conseil National du Numérique, octobre 2022.

    [3] Conseil de l’Europe (2019), Déclaration du Comité des ministres sur les capacités de manipulation des processus algorithmiques.

    [4] OECD (2022), « Dark commercial patterns », OECD Digital Economy Papers, No. 336, OECD Publishing, Paris, https://doi.org/10.1787/44f5e846-en.

    [5] Eyal, N. (2014). Hooked: How to build habit-forming products. Penguin.

    [6] Natasha Schüll (2012) Addiction by design: Machine gambling in Las Vegas. Princeton Univ Press.

    [7] Yuval Noah Harari, Homo Deus, Une brève histoire de l’avenir, Paris, Albin Michel, 2017.

    [8] Dans le paradigme scientifique, tout ce qui constitue la nature obéit à des lois. Pour que la science existe nous devons considérer que les mêmes causes produiront les mêmes effets, si toutes choses sont équivalentes par ailleurs (ce qui est forcément une approximation et une simplification car il ne peut pas y avoir deux situations strictement identiques en tout point). Ce qui signifie que nous considérons qu’il existe un déterminisme causal et que ce positionnement métaphysique n’est en aucun cas démontrable, c’est une posture. Le fait que cette posture permette d’expliquer de plus en plus de phénomènes et de comportements plaide en sa faveur sans pour autant constituer une démonstration.

    [9] C’est à dire que la nature est une, qu’elle est intelligible, et que nous pouvons l’étudier à l’aide d’une approche scientifique.

    [10] Atlan, H. (2018). Cours de philosophie biologique et cognitiviste : Spinoza et la biologie actuelle. Éditions Odile Jacob. Voir aussi Monier, C. & Khamassi, M. (Eds.) (2021). Liberté et cognition. Intellectica, 2021/2(75), https://intellectica.org/fr/numeros/liberte-et-cognition.

    [11] Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., & Poeppel, D. (2017). Neuroscience needs behavior: correcting a reductionist bias. Neuron, 93(3), 480-490.

    [12] Feltz, B. (2021). Liberté, déterminisme et neurosciences. Intellectica, 75.

    [13] Avis de la CNCDH relatif à la lutte contre la haine en ligne du 8 juil. 2021, JORF 21 juil. 2021, proposition dont le CNNum s’est ensuite fait l’écho : CNNum, Votre attention s’il vous plaît, 2022.

    [14] Houdé, O. (2020). L’inhibition au service de l’intelligence : penser contre soi-même. Paris, Presses universitaires de France-Humensis.

    [15] Khamassi, M. (Ed.) (2021). Neurosciences cognitives. Grandes fonctions, psychologie expérimentale, neuro-imagerie, modélisation computationnelle. Éditions De Boeck Supérieur.

    [16] Exemple de simulation mentale : si je me simule mentalement réalisant une action, je peux mieux estimer dans quelle situation je vais probablement me retrouver après avoir agi. Je peux alors estimer si c’est en adéquation avec mes buts et mes valeurs, et non plus être simplement en mode stimulus-réponse.

    [17] Patrick Haggard (2008). Human volition: towards a neuroscience of will. Nature Neuroscience Reviews.

    [18] Shadlen, M. N., & Gold, J. I. (2004). The neurophysiology of decision-making as a window on cognition. The cognitive neurosciences, 3, 1229-1441.

    [19] Khamassi, M. & Lorenceau, J. (2021). Inscription corporelle des dynamiques cognitives et leur impact sur la liberté de l’humain en société. Intellectica, 2021/2(75), pages 33-72.

    [20] Kozyreva, A., Lorenz-Spreen, P., Hertwig, R. et al. Public attitudes towards algorithmic personalization and use of personal data online: evidence from Germany, Great Britain, and the United States. Humanit Soc Sci Commun 8, 117 (2021). https://doi.org/10.1057/s41599-021-00787-w

    [21] Shoshana Zuboff, L’âge du capitalisme de surveillance, Paris, Zulma, 2020.

    [22] Cités par le rapport forum info démocratie, sept 2022.

    [23] Bigenwald, A., & Chambon, V. (2019). Criminal responsibility and neuroscience: no revolution yet. Frontiers in psychology, 10, 1406.

  • ePoc : des formations au numérique à portée de main

    ePoc [electronic Pocket open course] est une application mobile gratuite et open source de formation au numérique développée par Inria Learning Lab (Service Éducation et Médiation Scientifiques). L’objectif : proposer des formations au numérique à portée de main. Aurélie Lagarrigue, Benoit Rospars et Marie Collin  nous explique tout cela. Marie-Agnès Énard.

    Ce billet est publié en miroir avec le site pixees.fr.

    En parallèle des Moocs produits sur la plateforme nationale FUN, ce nouveau format de formation a été spécialement conçu pour le mobile. L’intérêt est de bénéficier de formations :
    – toujours à portée de main : dans votre poche pour une consultation hors ligne où vous voulez et quand vous voulez ;
    – plus courtes avec des contenus variés et ludiques, adaptés aux petits écrans.

    Chaque formation ePoc est développée :
    – en assurant la qualité scientifique : les contenus sont élaborés en collaboration avec des chercheurs spécialistes ou experts du domaine ;
    – en respectant la vie privée : aucune collecte de données personnelles ;
    – en proposant une attestation de réussite, que vous pouvez télécharger à la fin de la formation.

    L’application est disponible gratuitement sur Google Play et App store et accessible en Open Source.
    Pour en savoir plus et télécharger l’application.

    Vous pouvez, dès à présent, télécharger 4 ePoc (entre 1 et 2h de formation chacun) avec des parcours pédagogiques engageants et spécialement conçus pour le mobile.

    Les 4 premiers ePoc à découvrir

    • B.A-BA des data : introduire les fondamentaux indispensables relatifs aux données à travers des activités simples et variées
    • Vie Privée et smartphone : découvrir l’écosystème des applications et leur usage des données personnelles
    • Internet des objets et vie privée : comprendre les implications liées à l’usage d’objets connectés dans la maison dite intelligente.
    • Smartphone et planète : identifier les impacts du smartphone sur l’environnement grâce à 3 scénarios illustrés : Serial Casseur, Autopsie d’un smartphone, La tête dans les nuages.

    Vous faites partie des premières et premiers à découvrir cette application, n’hésitez pas à faire part de vos avis (ill-ePoc-contact@inria), cela aidera à améliorer l’application.

    Voici en complément cette petite présentation vidéo:

    Belle découverte de l’application ePoc et de ses contenus !

    L’équipe conceptrice.

  • De la réalité augmentée au CERN

    Pour bien comprendre des données, les représenter visuellement est une approche bien connue ; nous avons par exemple appris au lycée comment représenter une fonction mathématique à l’aide d’une courbe pour pouvoir l’étudier. Pour appréhender des données très complexes, il existe beaucoup de méthodes et de recherches – regroupées dans un domaine baptisé Visualisation de données (DataViz en anglais) – parmi lesquelles  le potentiel de la réalité augmentée n’est pas négligeable. Dans cet article, Xiyao Wang et Lonni Besançon nous décrivent le prototype qu’ils ont développé et testé conjointement avec des physiciens du CERN, le célèbre laboratoire de physique des particules. Pascal Guitton.

     

    Image 1: Une utilisatrice portant un casque de réalité augmentée. Photo by Barbara Zandoval on Unsplash.

    La réalité virtuelle (RV) nous permet de faire l’expérience de mondes remarquablement immersifs. Ces environnements peuvent être attrayants et promettent de faciliter les tâches qui exigent un haut degré d’immersion – l’état psychologique que les utilisateurs ressentent lorsqu’ils sont plongés dans un environnement qui diffuse des stimuli en continu [1] – dans leur contenu tridimensionnel.

    Par rapport aux environnements RV totalement immersifs, la réalité augmentée (RA) offre de nouvelles possibilités, en plus de permettre des vues immersives de données stéréoscopiques en 3D. Tout d’abord, la RA ne transporte pas les utilisateurs dans un monde entièrement virtuel mais les laisse dans un environnement réel, ce qui leur permet d’interagir avec des objets habituels  tels que les dispositifs d’entrée traditionnels (par exemple, la souris). Les utilisateurs ne sont donc pas obligés d’utiliser des périphériques dédiés (par exemple, une baguette, un contrôleur 3D) comme dans la plupart des environnements RV, ce qui réduit les coûts d’apprentissage et offre un grand potentiel d’intégration des nouveaux environnements aux outils existants. Ce dernier point est essentiel car les scientifiques travaillant avec des données complexes ont tendance à s’en tenir aux outils d’analyse existants sur PC et hésitent à passer à de nouveaux outils, comme l’ont montré des travaux de recherche antérieurs [2].

     

    Afin de comprendre le cas d’utilisation potentielle de combinaison de la RA avec les outils d’exploration des données sur PC, nous avons mis en œuvre un prototype pour servir d’outil initial que nous pouvons tester avec des scientifiques étudiant des données complexes [3]. L’objectif est d’essayer de favoriser l’utilisation d’environnements immersifs par les scientifiques en les combinant à des environnements classiques.. Nous avons décidé de collaborer avec des chercheurs du CERN afin d’évaluer ce prototype. Nous ne l’avons pas développé pour remplacer les logiciels et les paramètres existants en termes de convivialité, de détails d’interaction ou de puissance de calcul, qui sont absolument nécessaires aux physiciens du CERN et qui évoluent rapidement selon eux, mais ce ne sont pas les points qui nous intéressent dans ce travail. Notre objectif était de voir comment combiner l’avantage d’un environnement de travail classique avec un environnement immersif, particulièrement intéressant pour l’analyse de données spatiales ou multi-dimensionnelles. 

     

    Notre prototype est donc décomposé en deux parties: la première sur un PC et la seconde sur un casque HoloLens,  toutes deux inspirées des environnements de travail habituels des physiciens des particules avec qui nous avons collaboré. Nous avons utilisé la métaphore d’un environnement à deux écrans, dans lequel le contenu de chacun d’entre eux peut être défini individuellement et la souris peut se déplacer d’un écran à l’autre (ce qui est maintenant classique dans beaucoup de métiers). Nous remplaçons dans notre prototype l’un de ces écrans par l’environnement de RA (Image 2). Les utilisateurs peuvent rester assis et continuer à travailler avec leurs outils traditionnels sur leur PC ou leur ordinateur portable, mais ils peuvent également passer à l’environnement de RA en cas de besoin et revenir au PC à tout moment. La communication entre les deux environnement est basée sur le WiFi en utilisant le protocole UDP. Cette communication est également bidirectionnelle : les interactions qui se produisent dans l’environnement de RA sont transmises au PC et vice-versa. Dans ce prototype, chaque environnement présente le même jeu de données, mais les vues et analyses sont configurables par les utilisateurs. De cette façon, notre prototype permet aussi de combiner plusieurs techniques d’intéractions natives à chacun des environnements. Les chercheurs peuvent ainsi sélectionner certaines parties de leurs données via des visualizations interactives sur l’écran 2D, ou bien recourir à une sélection basée sur la position et configuration spatiales des données dans l’environnement de réalité augmentée.

     

     

    Image 2: Vue de l’écran d’analyse avec son extension en réalité augmentée.

    Bien qu’il existe aujourd’hui de nombreuses façons d’interagir avec un Hololens (mains, gants, smartphones… ), nous avons décidé de permettre aux physiciens d’utiliser la souris. Lorsque la souris quitte les bords de l’écran, nous avons choisi de permettre aux physiciens d’interagir avec l’Hololens en cliquant sur la touche Shift de leur clavier. La souris se déplace alors en 2D de façon classique, et le scroll peut être utilisé pour manipuler une troisième dimension via la souris.

    Nous avons évalué ce prototype et ses capacités avec 7 chercheurs du CERN. Notre protocole d’évaluation était principalement centré sur une observation des 7 chercheurs pendant la conduite d’une tâche d’analyse représentative de leur travail. Durant cette tâche, il leur était demandé de penser à voix haute afin que nous puissions prendre notes de leurs commentaires. Une fois la tâche achevée, nous leurs demandions de répondre à plusieurs questions notamment en termes de préférences sur les combinaisons possibles entre RA et moniteurs. L’objectif premier de cette évaluation était de comprendre le potentiel, les intérêts, et les soucis de notre approche lorsqu’on la compare aux outils que les chercheurs du CERN utilisent actuellement. De cette évaluation ressort que les physiciens des particules ont bien apprécié et compris l’utilité d’un environnement d’analyse de données hybride, entre immersif et station de travail et préfèreraient, dans l’ensemble, ce genre d’environnement à un environnement unique. L’environnement immersif a bel et bien été perçu comme une extension de l’écran 2D, ajoutant des possibilités d’analyse exploratoire des données. Qui plus est, l’environnement 3D permet aussi d’étendre l’environnement de travail de façon infinie et non contrainte contrairement à un écran supplémentaire. 

    Bien que les environnements immersifs (RV et RA) soient aujourd’hui prêts à l’emploi, leur intégration avec des outils plus classiques est encore très peu explorée. Les possibilités de combinaison sont multiples et ces travaux présentent seulement une de ces nombreuses possibilités. Cependant, la validation de cette possibilité par des physiciens des particules du CERN nous montre bien le potentiel de ce genre de solution de travail hybride. 

    [1] Witmer, Bob G., and Michael J. Singer. « Measuring presence in virtual environments: A presence questionnaire. » Presence 7.3 (1998): 225-240. https://doi.org/10.1162/105474698565686 

    [2] Lonni Besançon, Paul Issartel, Mehdi Ammi, Tobias Isenberg. Hybrid Tactile/Tangible Interaction for 3D Data Exploration. IEEE Transactions on Visualization and Computer Graphics, Institute of Electrical and Electronics Engineers, 2017, 23 (1), pp.881-890. https://doi.org/10.1109/TVCG.2016.2599217 

    [3] Xiyao Wang, David Rousseau, Lonni Besançon, Mickael Sereno, Mehdi Ammi, Tobias Isenberg. Towards an Understanding of Augmented Reality Extensions for Existing 3D Data Analysis Tools. CHI ’20 – 38th SIGCHI conference on Human Factors in computing systems, Apr 2020, Honolulu, United States. https://doi.org/10.1145/3313831.3376657 

     

  • IA explicable, IA interprétable: voyage dans les archives Binaires

    Peut-on comprendre et expliquer une décision automatisée prise par un système d’intelligence artificielle ? Pouvons-nous faire confiance à ce système autonome ? En tant qu’utilisateur, cela engage notre responsabilité et pose des questions. A travers Binaire, plusieurs chercheurs ont partagé leur travail à ce sujet ! Voici un résumé et récapitulatif autour de l’explicabilité et l’interprétabilité proposé par Ikram Chraibi Kaadoud chercheuse en IA passionnée de médiation ! Marie-Agnès Enard, Pascal Guitton et Thierry Viéville.

    Un petit rappel de contexte

    Dans de nombreux domaines, les mutations technologiques de ces dernières années ont mené à la disponibilité et à la prédominance de données complexes et hétérogènes. Par conséquent, de plus en plus de domaines d’application font appels aux systèmes d’intelligence artificielle (IA) dans le but de comprendre ces données, réaliser des prédictions jusqu’à aider l’humain à prendre des décisions.  Dans notre quotidien, les prises de décisions assistées par  des systèmes d’IA (voir automatisées quand urgence oblige) sont ainsi devenues une réalité quasi-omniprésente : algorithme de recommandation de médias, identification ou reconnaissance d’espèces animales et végétales, détection de pathologies, etc. 

    Dans ce contexte, l’humain, à la fois concepteur et utilisateur de tels systèmes d’IA, est un acteur incontournable. Amené à prendre des décisions basées sur ces systèmes, il engage sa responsabilité dans les choix qu’il effectue ce qui entraîne une exigence forte en termes de transparence et de compréhension des comportements de ces systèmes d’IA. Or, cette compréhension est loin d’être garantie puisque l’explicabilité* des modèles (notamment les propriétés d’interprétabilité des modèles à base de réseaux de neurones) est actuellement un sujet très complexe, objet d’études et de débats au sein même de la communauté scientifique en IA.  Ce qui se traduit par de la méfiance de la part du grand public, face à ces systèmes considérés  comme opaques parfois qualifiés de « boîtes noires ». 

    L’explicabilité* d’une IA vs celle d’un expert: Quand un expert humain prend une décision, il peut expliquer sur quelles connaissances, à partir de quels faits et quelles inférences il a utilisées pour arriver à sa conclusion. On parle d’explicabilité pour un système d’IA quand il peut lui aussi décrire comment a été construite sa décision. Dans certains cas, cette explication peut-être très complexe, voire impossible à appréhender par un humain ; en effet, un système de raisonnement automatisé peut enchaîner un très grand nombre de données, d’inférences qui dépassent de loin la capacité de nos cerveaux. Et c’est d’ailleurs bien pour ça que nous faisons appels à des machines qui ne sont pas intelligentes mais qui savent traiter des masses gigantesques d’informations.

     

    Depuis 2018, l’entrée en vigueur du règlement européen général de protection de données (RGPD), ainsi que les exigences sociétales en faveur de systèmes IA de confiance, ont permis l’essor d’algorithmes d’IA explicables et transparents dans le paysage informatique. Chacune et chacun a, en théorie, le droit et la possibilité d’exiger une explication des processus de traitement automatique de données tels que justement les systèmes d’IA, mais pouvoir le faire au niveau des connaissances de toutes et tous est un défi culturel et pédagogique.

    Cela a eu comme conséquence une explosion des travaux de recherche publiés sur ces sujets (explicabilité, interprétabilité, transparence, éthique, biais), et également une restriction de l’utilisation et l’amélioration d’un certain nombre de modèles existants autant dans l’industrie que – et surtout – dans la recherche.

    Mais qu’est-ce que l’IA explicable (ou XAI pour eXplainable Artificial Intelligence) ?

    En résumé, l’IA explicable peut être considérée comme une solution permettant de démystifier le comportement des systèmes d’IA et les raisons à l’origine de ce dernier. Il s’agit d’un ensemble d’approches et d’algorithmes permettant de proposer, par exemple,  des systèmes d’aide à la décision et d’explication de ces décisions. Expliquer le raisonnement d’un système, avec ses points forts et faibles, ainsi que son potentiel comportement dans le futur est le but de ce domaine. Pourquoi cela ? Entre autres: 1) favoriser l’acceptabilité de ces systèmes en prenant en compte les aspects éthiques et transparents, et le profil de l’utilisateur cible de cette explication, 2) veiller au respect de l’intégrité morale et physique de chacune et chacun, 3) augmenter les connaissances des experts grâce à la connaissance extraite par ces mécanismes d’IA explicable.

    En résumé, la dimension humaine est donc omniprésente depuis la conception jusqu’ à l’utilisation en passant par l’évaluation de modèle d’IA explicable.

    Pour en savoir plus, le blog binaire récapitule  les liens vers les articles que nous avons déjà partagés sur ces sujets :

    Comment comprendre ce que font les réseaux de neurones est le point d’entrée de ce sujet. Voici une série de trois articles grand public pour commencer de Marine LHUILLIER , Ingénieure d’études et Data engineer (spécialiste des données et de leur traitements) :  

     

    Démystifier des systèmes d’IA d’aide à la décision et les expliquer, permet également d’amener une connaissance pertinente à la portée du public ciblé. Un médecin peut donc voir en un système d’IA un moyen d’acquérir plus de connaissances sur une pathologie par exemple. L’IA transparente devient alors un outil d’apprentissage au service d’une expertise. Le Dr Masrour Makaremi nous avait partagé son point de vue sur cet aspect :

     

    Les algorithmes d’explicabilité peuvent être aussi être utilisés dans des contextes très ludiques comme le jeu de bridge. Il s’agit d’un jeu de cartes qui nécessite de maîtriser plusieurs compétences intéressantes à modéliser artificiellement et à démystifier, telles que faire des déductions, émettre et réviser des hypothèses, anticiper les coups de l’adversaire ou encore évaluer les probabilités. Marie-Christine Rousset, Professeur d’informatique à l’Université Grenoble Alpes, se penche et explique comment fonctionne le robot de bridge Nook, développé par NukkAI,  laboratoire privé d’Intelligence Artificielle français dédié aux développements d’IA explicables :

     

    L’IA explicable peut aussi être un moyen de favoriser l’acceptabilité de l’IA dans l’agriculture. Dans ce domaine, où la compétence de terrain est très présente, l’IA peut se révéler être un objet de frustration car elle ne permet pas de comprendre les tenants et les aboutissants. Emmanuel Frénod, mathématicien et professeur à l’Université de Bretagne Sud, au sein du Laboratoire de Mathématiques de Bretagne Atlantique, aborde le sujet de l’intégration d’outils en IA en agriculture et de la problématique des boîtes noires dans ce domaine :

     

    NOTRE PETIT PLUS : UNE NOUVELLE VIDÉO !

    Deux chercheuses en IA de l’IMT Atlantique, Lina Fahed et Ikram Chraibi Kaadoud, sont intervenues à Women Teckmakers Montréal et Québec 2021, un programme mis en place par le Google developpers Group afin de souligner le talent des femmes dans le milieu de l’informatique, de promouvoir la passion et d’accroître la visibilité de la communauté technologique féminine. Ces chercheuses ont ainsi abordé des éléments de réponses aux questions de confiance en IA et ont discuté des concepts de transparence et d’éthique à travers l’explicabilité en IA, un sujet de recherche toujours d’actualité.

    Cette présentation en français (avec des planches en anglais facilement lisibles, nous permettant aussi de se familiariser avec ce vocabulaire anglo-saxon) introduit aux concepts d’explicabilité et d’interprétabilité en IA, et fournit une description des grandes familles de stratégies en explicabilité, y compris d’un point de vue technique.  Il aborde également les difficultés inhérentes au domaine notamment lorsque les données sont hétérogènes (c’est à dire de différents formats) , ou encore en questionnant l’impact éthique et sociétale du sujet au vu de l’omniprésence des systèmes IA dans notre environnement. 

    Ikram Chraibi Kaadoud , chercheuse postdoctorale travaillant actuellement sur le sujet de l’intelligence artificielle eXplainable (XAI) sur des séries temporelles hétérogènes à l’Institut des Mines Télécom Atlantique.

  • Robotique développementale, ou l’étude du développement des connaissances dans une Intelligence Artificielle

    Intelligences naturelles et artificielles peuvent apprendre les unes des autres. De nombreux algorithmes s’inspirent de notre compréhension des mécanismes du vivant et les modèles utilisés en intelligence artificielle peuvent en retour permettre d’avancer dans la compréhension du vivant. Mais comment s’y retrouver ? Donnons la parole à Ikram CHRAIBI KAADOUD qui nous offre ici un éclairage. Pascal Guitton et Thierry Viéville.

    Cet article est publié conjointement avec le blog scilog qui nous offre ce texte en partage. Une version en anglais est disponible au lien suivant

    Apprendre à apprendre, une problématique IA  mais pas seulement

    Photo de Andrea De Santis de Unsplash

    Il est souvent dit et admis que de nombreux algorithmes s’inspirent du vivant et qu’inversement l’artificiel peut permettre d’avancer la compréhension du vivant*.

    S’inscrivant dans cette démarche, le développement des connaissances chez les humains est un domaine qui a été largement étudié par exemple,   par des méthodes informatiques utilisant des approches d’apprentissage automatique (Machine Learning) ou encore des approches robotiques (Cangelosi, 2018). L’objectif:  réaliser des algorithmes ou robots flexibles et performants capables d’interagir efficacement avec les humains et leur environnement.

    * Attention cher lecteur, chère lectrice, s’inspirer du vivant n’implique pas de créer un double artificiel ; par exemple mimer ou dupliquer:  la conception d’avions peut s’inspirer des oiseaux mais ce n’est pas pour autant que les avions battent des ailes !

    L’un des défis principaux qui existe lors d’une interaction humain-machine est la prise en compte de la variabilité de l’environnement. Autrement dit l’évolution du contexte de l’interaction. Une réponse d’une machine pertinente à un instant donné, ne sera peut-être plus la bonne quelques instants plus tard. Cela peut être dû à l’environnement (changement de lieu, d’horaire) ou à l’individu avec lequel la machine interagit. 

    Par exemple, si je vous dis « Mon train est dans 10 min » et que je suis à l’autre bout de la ville (la gare étant à l’opposé de ma localisation), il est évident que celui-ci partira sans moi. Si je suis devant la gare, alors il serait adéquat de me dépêcher ! Enfin si je suis dans le train au moment où je prononce ces mots, alors tout est bon pour moi !*
    *Merci au Dr. Yannis Haralambous, chercheur en Traitement du langage naturel, fouille de textes et grapho linguistique de IMT atlantique et l’équipe DECIDE du LAB-STICC, CNRS pour le partage de cet exemple 

    La compréhension du contexte et son assimilation est un sujet à part entière entre humains et par extension, également entre Humains et Machine.

    Alors comment faire pour qu’une machine apprenne seule à interagir avec un environnement changeant ? Autrement dit, comment faire pour que cet agent apprenne à raisonner : analyser la situation, déduire ou inférer un comportement, exécuter ce dernier, analyser les résultats et apprendre de sa propre interaction ?

    Il existe déjà nombre de travaux dans les domaines de l’apprentissage par renforcement en IA qui s’intéressent aux développements d’agents artificiels, ou encore de la cobotique où le système robotique doit prendre en compte la localisation des opérateurs humains pour ne pas risquer de les blesser. Mais il existe aussi des approches qui tendent à s’inspirer de la cognition et notamment de celle des enfants :  les approches de robotique développementale.

    “L’un des paradigmes les plus récents, la robotique développementale, propose de s’intéresser non pas à l’intelligence « adulte » d’un individu capable de résoudre a priori une large classe de problèmes, mais plutôt d’étudier la manière dont cette intelligence se constitue au cours du développement cognitif et sensori moteur de l’individu. On ne cherche pas à reproduire un robot immédiatement intelligent, mais un robot qui va être capable d’apprendre, en partant au départ avec un nombre réduit de connaissances innées. Le robot apprend à modéliser son environnement, les objets qui l’entourent, son propre corps, il apprend des éléments de langage en partant du lexique jusqu’à la grammaire, tout cela en interaction forte à la fois avec le monde physique qui l’entoure mais également au travers d’interactions sociales avec les humains ou même d’autres robots. Le modèle qui préoccupe le chercheur en intelligence artificielle n’est plus le joueur d’échec, mais tout simplement le bébé et le jeune enfant, capable d’apprendre et de se développer cognitivement.”
    Extrait de la page de présentation d’une série de conférences sur ce sujet en 2013 : https://x-recherche.polytechnique.org/post/Conf%C3%A9rence-Robotique-D%C3%A9veloppementale

    Quelques définitions avant d’aller plus loin ! 

    Reprenons d’abord quelques définitions avant d’aborder ce sujet passionnant de cognition artificielle.

    Alors qu’est-ce que l’apprentissage par renforcement, ou Reinforcement Learning ? Il s’agit d’un domaine de l’apprentissage automatique, Machine Learning, qui se concentre sur la façon dont les agents artificiels entreprennent des actions dans un environnement par la recherche d’un équilibre entre l’exploration (par exemple, d’un territoire inexploré) et l’exploitation (par exemple, de la connaissance actuelle des sources de récompense)(Chraibi Kaadoud et al, 2022). Ce domaine aborde la question de la conception d’agents autonomes qui peuvent évoluer par l’expérience et l’interaction (Sutton, Barto, et al., 1998).

    Le second concept à éclaircir est celui de Robotique :

    La robotique est un domaine scientifique et industriel qui a pour objet d’étude le robot en lui-même. Cela englobe, ses performances, ses caractéristiques énergétiques, électroniques, mécaniques et même automatiques.  

    La cobotique est un domaine scientifique qui étudie les systèmes hommes-robots collaboratifs. Un cobot se définit donc comme un robot collaboratif travaillant dans le même espace de travail que l’humain. Par exemple, un robot jouet ou robot d’accueil. La cobotique est très proche de la robotique, cependant elle n’englobe pas toutes les problématiques de la robotique. En effet, en cobotique, le cœur du sujet est la perception du cobot de son environnement, son interaction avec l’humain et inversement, la perception, l’interaction et l’acceptabilité de l’humain de son cobot. La cobotique se distingue par un volet ergonomie et ingénierie cognitique, absente de la robotique.

    La cobotique est donc de nature pluridisciplinaire et se situe à l’intersection de trois domaines : robotique, ergonomie et cognitique (Salotti et al, 2018). Notons que la cobotique n’est pas directement liée au sujet de la robotique développementale mais il est essentiel de distinguer ces deux sujets, d’où cette petite parenthèse.

    Enfin cela nous amène à la robotique développementale ou Developmental robotics. Ce domaine est aussi connu sous d’autres synonymes : cognitive developmental robotics, autonomous mental development, ainsi que epigenetic robotics.

    Ce champ de recherche est dédié à l’étude de la conception de capacités comportementales et cognitives des agents artificiels de manière autonome. Autrement dit, ce domaine s’intéresse au développement des comportements de robots et de leur représentation du monde avec lequel ils interagissent et de tout ce qui a trait à leur connaissance.

    Intrinsèquement interdisciplinaire, ce domaine s’inspire directement des principes et mécanismes de développement observés dans les systèmes cognitifs naturels des enfants. 

    Photo de Ryan Fields de Unsplash

    En effet, quoi de plus curieux et autonome qu’un enfant dans la découverte de son monde ?

     Ce domaine tend ainsi à s’inspirer du développement des processus cognitifs des enfants pour concevoir des agents artificiels qui apprennent à explorer et à interagir avec le monde comme le font les enfants (Lungarella, 2003; Cangelosi, 2018).

    Comment ? L’approche traditionnelle consiste à partir des théories du développement humain et des animaux appartenant aux domaines de la psychologie du développement, des neurosciences, du développement, de la biologie évolutive, et de la linguistique pour ensuite les formaliser et implémenter dans des robots ou agents artificiels.

    Attention, précisons que la robotique développementale est disjointe de la robotique évolutionnelle qui utilise des populations de robots interagissant entre eux et qui évoluent dans le temps.

    En quoi la robotique développementale est intéressante ?

    Afin d’avoir des agents artificiels qui évoluent et s’adaptent au fur et à mesure de leur expérience, des chercheurs se sont attelés à observer des enfants à différents stade de leur apprentissage et le développement de cette capacité d’apprentissage. Les nourrissons en particulier créent et sélectionnent activement leur expérience d’apprentissage en étant guidés par leur curiosité. Des travaux se sont donc penchés sur la modélisation de la curiosité en IA afin de déterminer l’impact de celle-ci sur l’évolution des capacités d’apprentissage des agents artificiels (Oudeyer et Smith, 2016). Les domaines d’applications sont nombreux et peuvent permettre par exemple la conception de robots capables d’apprendre des choses sur le long terme et d’évoluer dans leur apprentissage ou encore des algorithmes performants capables de générer des explications adaptées au contexte en langage naturel par exemple.

    Au-delà de la conception d’agents intelligents, l’expérimentation de ces modèles artificiels dans des robots permet aux chercheurs de confronter leur théorie sur la psychologie du développement à la réalité et ainsi confirmer ou infirmer leur hypothèse sur le développement des enfants par exemple. La robotique développementale peut ainsi être un outil d’expérimentation scientifique et d’exploration de nouvelles hypothèses sur les théories du développement humain et animal. Un outil au service de l’enfant, s’inspirant de ce dernier.

    Une meilleure compréhension du développement cognitif humain et animal, peut permettre alors de concevoir des machines (robots, agents artificiels) adaptées à l’interaction avec des enfants au fur et à mesure qu’ils grandissent et que leur contexte évolue. Cela permet également de créer des applications plus adaptées aux enfants dans les technologies éducatives comme le montre le schéma “Qu’est ce que la robotique développementale ?”.

    Au-delà de l’interaction humain-machine, ce domaine passionnant amène à se poser également des questions sur la curiosité artificielle, la créativité artificielle et même celle de la question de la motivation d’un agent artificiel ou robot ! Autrement dit, la robotique développementale permet également des découvertes scientifiques au service de la compréhension du développement cognitif des enfants et celui de la conception d’agents ou machines artificiels qui apprennent à apprendre tout au long de leur expérience.

    Schéma: Qu’est ce que la  robotique développementale ? l’alliance de modèle de sciences cognitives et d’intelligence artificielle au service de la compréhension du développement cognitif et de l’apprentissage autonome tout au long de la vie. Images: @Pixabay

    Que retenir ?

    La conception d’une interaction humain-machine réussie est une quête en soit pour laquelle différentes approches sont possibles : celle de l’apprentissage par renforcement qui se focalise sur l’agent artificiel comme objet d’étude dans un contexte donné, celle de la robotique qui se focalise sur le robot en tant que sujet d’étude d’un point de vue mécanique et logiciel, et enfin celle de la robotique développementale qui s’inspire du développement cognitif des enfants afin de créer des machine/agents artificiels flexibles, adaptée et adaptable qui évoluent. Cette épopée en est à ses prémisses et de nombreuses découvertes sont encore à venir. Toutefois retenons une chose : comment apprendre à apprendre est bien une question autant d’humains que de robots ! 

    Références & pour en savoir plus :

    Cangelosi, A., Schlesinger, M., 2018.  From babies to robots:  the contribution of developmental robotics to developmental psychology.  Child Development Perspectives 12, 183–188.

    Chraibi Kaadoud, I., Bennetot, A., Mawhin, B., Charisi, V. & Díaz-Rodríguez, N. (2022). “Explaining Aha! moments in artificial agents through IKE-XAI: Implicit Knowledge Extraction for eXplainable AI”. Neural Networks, 155, p.95-118. 10.1016/j.neunet.2022.08.002 

    Droniou, A. (2015). Apprentissage de représentations et robotique développementale: quelques apports de l’apprentissage profond pour la robotique autonome (Doctoral dissertation, Université Pierre et Marie Curie-Paris VI).

    Lungarella, M., Metta, G., Pfeifer, R., Sandini, G., 2003.  Developmental robotics:  a survey.  Connection science 15,151–190.

    Oudeyer, P. Y., & Smith, L. B. (2016). How evolution may work through curiosity‐driven developmental process. Topics in Cognitive Science, 8(2), 492-502.

    Padois Vincent (2011) Dossier « iCub et les robots de services » pour le site www.Futura-sciences.com URL : https://www.futura-sciences.com/tech/dossiers/robotique-icub-robots-service-1143/

    Salotti, J. M., Ferreri, E., Ly, O., & Daney, D. (2018). Classification des systèmes cobotiques. Ingénierie cognitique, 1(1). https://hal.archives-ouvertes.fr/hal-01943946

     

     

     

  • L’avatar ou la boîte à magie des illusions corporelles ?

    Voici un autre article consacré au Prix de thèse Gilles Kahn qui depuis 1998 récompense chaque année une thèse en Informatique. Cette année l’un des accessit revient à Rebecca Fribourg pour ses travaux sur les avatars personnels réalisés au centre Inria Rennes – Bretagne Atlantique . Pascal Guitton & Pierre Paradinas.

    Avec l’agitation médiatique récente autour du mot « métavers », les avatars n’ont jamais autant été sous les projecteurs. En effet, dans le contexte de ces environnements où de nombreuses personnes peuvent se connecter et interagir entre elles, la question de la représentation de l’utilisateur – via son avatar – prend tout de suite une grande importance. Est-ce que je souhaite utiliser un avatar qui me ressemble, ou bien apparaitre comme quelqu’un de totalement différent ? Ces avatars posent des questions importantes car ils représentent le corps d’un utilisateur et peuvent être visualisés à la première personne, comme on observe son vrai corps. Ils sont utilisés par ailleurs dans les domaines de la formation ou de la médecine, par exemple dans le cadre de thérapies pour les troubles du comportement alimentaire, où l’on fait se regarder dans un miroir virtuel des patients tout en modulant la morphologie de leurs avatars. Mentionnons enfin, un phénomène frappant, appelé « effet Proteus », qui a établi que l’on a tendance à intégrer dans notre comportement les caractéristiques visuelles de notre avatar. Par exemple, une étude a montré que des utilisateurs incarnés dans un avatar ressemblant à Einstein étaient plus performants dans la réalisation de tâches cognitives, ce qui suggère que les avatars pourraient nous rendre plus performants dans certaines tâches dans un environnement virtuel, mais aussi dans le monde réel.

    Néanmoins, l’utilisation de ces avatars nécessite de relever des défis à la fois technologiques (algorithmique, Interaction homme-machine, dispositifs de capture de mouvement) mais aussi cognitifs (psychologie, perception, etc.), rendant le sujet très pluridisciplinaire ! L’aspect perceptif est très important et il est aujourd’hui nécessaire de bien comprendre comment les utilisateurs perçoivent leurs avatars et interagissent à travers eux afin de concevoir des expériences virtuelles fortes et réalistes.

    Dans le cadre de mon doctorat, j’ai justement essayé de mieux comprendre et d’identifier les facteurs qui peuvent affecter – en bien ou en mal – la manière dont l’on perçoit son avatar. En particulier, je me suis intéressée au « sentiment d’incarnation » qui vise à caractériser et modéliser la perception de son avatar. Ai-je l’impression que ce corps virtuel m’appartient ? Est-ce que je contrôle bien les mouvements de mon avatar comme ceux de mon vrai corps ? Ai-je l’impression d’être spatialement dans mon corps virtuel ?

    J’ai alors réalisé un certain nombre d’expériences utilisateurs où j’ai mesuré leur sentiment d’incarnation à l’aide de questionnaires subjectifs et de certaines mesures objectives. Je me suis notamment intéressée aux environnements virtuels multi-utilisateurs, c’est-à-dire des plateformes permettant à plusieurs personnes d’interagir ensemble dans un environnement virtuel. Dans ce contexte, les avatars sont d’autant plus importants qu’ils constituent le repère spatial visuel de la localisation des autres utilisateurs, et qu’ils fournissent donc des informations cruciales de communication non verbales. J’ai alors montré que le partage de l’environnement virtuel avec d’autres personnes n’avait pas d’influence sur la perception de son propre avatar, apportant donc un message plutôt rassurant pour toutes les applications multi-utilisateurs impliquant des avatars.

    Dans une autre étude, j’ai utilisé un même avatar pour deux utilisateurs différents, comme s’ils partageaient un même corps! Les participants partageaient le contrôle et devaient se coordonner pour animer cet avatar. Ce que j’ai découvert, c’est que lorsqu’un utilisateur voit ses bras virtuels bouger, alors que c’est l’autre utilisateur qui les contrôle, il peut quand même avoir l’impression d’être à l’origine du mouvement, ce qui est très intéressant pour de la formation à des gestes techniques ou de la rééducation motrice.

    Co-incarnation d’un avatar contrôlé par deux utilisateurs . La position et orientation du bras droit de l’avatar correspond à la moyenne pondérée entre la position et orientation des bras des deux utilisateurs, avec un niveau de partage variable.

    De manière générale, les retombées de mes travaux de recherche à court/moyen terme sont de mieux comprendre quelles sont les caractéristiques d’un avatar et les facteurs plus éloignés (environnement virtuel, traits individuels) qui contribuent à la bonne utilisation de ce dernier dans un contexte donné. Par exemple, une autre de mes études a permis de montrer que l’apparence de l’avatar (réaliste vs abstraite, ressemblante à l’utilisateur ou non) avait moins d’importance pour l’utilisateur que d’avoir un bon contrôle sur l’avatar, fidèle à ses propres mouvements.

    Illustration d’une étude explorant l’interrelation des facteurs influençant le sentiment d’incarnation

    Ces résultats permettent entre autres aux concepteurs d’avatar dans des domaines variés de savoir quels aspects techniques sont à privilégier, et dans quelles caractéristiques d’avatar les budgets devraient être alloués plutôt que d’autres.

    Rebecca Fribourg est actuellement Maitre de conférence à l’Ecole Centrale de Nantes, rattachée au laboratoire AAU (Ambiances, Architectures, Urbanités).

    Pour aller encore plus loin (article en anglais) :

    • Rebecca Fribourg et al. “Virtual co-embodiment: evaluation of the sense of agency while sharing the control of a virtual body among two individuals”. In: IEEE Transactions on Visualization and Computer Graphics (2020)
    • Rebecca Fribourg et al. “Avatar and Sense of Embodiment: Studying the Relative Preference Between Appearance, Control and Point of View”. In: IEEE Transactions on Visualization and Computer Graphics 26.5 (2020), pp. 2062–2072. doi: 10.1109/TVCG.2020.2973077.

  • Le métavers, quels métavers ? (2/2)

    En octobre 2021, Facebook a annoncé le développement d’un nouvel environnement virtuel baptisé Metaverse. Cette information a entrainé de très nombreuses réactions tant sous la forme de commentaires dans les médias que de déclarations d’intention dans les entreprises. Comme souvent face à une innovation technologique, les réactions sont très contrastées : enfer annoncé pour certains, paradis pour d’autres. Qu’en penser ? C’est pour contribuer à cette réflexion que nous donnons la parole à Pascal Guitton et Nicolas Roussel. Dans un premier article, ils nous expliquaient de quoi il s’agit et dans celui-ci ils présentent des utilisations potentielles sans oublier de dresser une liste de questions à se poser.
    Binaire, le blog pour comprendre les enjeux du numérique, en collaboration avec theconversation 

    Pourquoi et pour quoi des métavers ?

    Comme souvent dans le domaine des technologies numériques, on entend dans les discussions sur les métavers des affirmations comme « il ne faudrait pas rater le coche » (ou le train, la course, le virage, le tournant). Il faudrait donc se lancer dans le métavers uniquement parce que d’autres l’ont fait ? Et s’ils s’y étaient lancés pour de mauvaises raisons, nous les suivrions aveuglément ? On pourrait aussi se demander si la direction qu’ils ont prise est la bonne. Autre interrogation plus ou moins avouée, mais bien présente dans beaucoup d’esprits : qu’adviendrait-il de nous si nous ne suivions pas le mouvement ? Finalement, est-ce que la principale raison qui fait démarrer le train n’est pas la peur de certains acteurs de le rater ?

    Pourquoi (pour quelles raisons) et pour quoi (dans quels buts) des métavers ? Les motivations actuelles sont pour nous liées à différents espoirs.

    Le métavers, c’est l’espoir pour certains que la réalité virtuelle trouve enfin son application phare grand public, que ce qu’elle permet aujourd’hui dans des contextes particuliers devienne possible à grande échelle, dans des contextes plus variés : l’appréhension de situations complexes, l’immersion dans une tâche, l’entrainement sans conséquence sur le monde réel (apprendre à tailler ses rosiers dans le métavers comme on apprend à poser un avion dans un simulateur), la préparation d’actions à venir dans le monde réel (préparation d’une visite dans un musée), etc.

    C’est l’espoir pour d’autres d’une diversification des interactions sociales en ligne (au-delà des jeux vidéo, réseaux sociaux et outils collaboratifs actuels), de leur passage à une plus grande échelle, de leur intégration dans un environnement fédérateur. C’est l’espoir que ces nouvelles interactions permettront de (re)créer du lien avec des personnes aujourd’hui isolées pour des raisons diverses : maladie ou handicap (sensoriel, moteur et/ou cognitif), par exemple. Des personnes éprouvant des difficultés avec leur apparence extérieure dans le monde réel pourraient peut-être s’exprimer plus librement via un avatar configuré à leur goût. Imaginez un entretien pour une embauche ou une location dans lequel il vous serait dans un premier temps possible de ne pas dévoiler votre apparence physique.

    C’est aussi l’espoir d’un nouveau web construit aussi par et pour le bénéfice de ses utilisateurs, et non pas seulement celui des plateformes commerciales. Au début du web, personne ne savait que vous étiez un chien. Sur le web d’aujourd’hui, les plateformes savent quelles sont vos croquettes préférées et combien vous en mangez par jour. Dans le métavers imaginé par certains, personne ne saura que vous n’êtes pas un chien (forme choisie pour votre avatar) et c’est vous qui vendrez les croquettes.

    C’est enfin — et probablement surtout, pour ses promoteurs actuels — l’espoir de l’émergence de nouveaux comportements économiques, l’espoir d’une révolution du commerce en ligne (dans le métavers, et dans le monde réel à travers lui), l’espoir d’importants résultats financiers dans le monde réel.

    Tous ces espoirs ne sont évidemment pas nécessairement portés par les mêmes personnes, et tous ne se réaliseront sans doute pas, mais leur conjonction permet à un grand nombre d’acteurs de se projeter dans un espace configuré à leur mesure, d’où l’expression d’auberge espagnole qu’utilisent certains pour qualifier les métavers

    Qu’allons-nous faire dans ces métavers ?

    « La prédiction est très difficile, surtout lorsqu’il s’agit de l’avenir ». A quoi servira le métavers ? Des communautés spirituelles prévoient déjà de s’y rassembler. On peut parier qu’il ne faudra pas longtemps pour que des services pour adultes s’y développent  ; on sait bien qu’« Internet est fait pour le porno », et la partie réservée aux adultes de Second Life était encore récemment active, semble-t-il. Au-delà de ces paris sans risque, essayons d’imaginer ce que pourraient permettre les métavers…

    Imaginez un centre-ville ou un centre commercial virtuel dont les boutiques vous permettraient d’accéder à des biens et services du monde virtuel et du monde réel. Dans une de ces boutiques, vous pourriez par exemple acheter une tenue pour votre avatar (comme un tee-shirt de l’UBB Rugby), qu’il pourrait dès lors porter dans toutes les activités possibles dans le métavers (rencontres entre amis, activités sportives ou culturelles, mais aussi réunions professionnelles). Dans une autre boutique, vous pourriez choisir et personnaliser une vraie paire de chaussures qui vous serait ensuite livrée à domicile dans le monde réel.

    Quelle différence avec les achats en ligne d’aujourd’hui ? Vous pourriez être assistés dans les boutiques du métavers par des personnages virtuels, avatars d’êtres humains ou d’intelligences artificielles. Vous pourriez vous y rendre accompagnés, pour faire du shopping à plusieurs ou vous faire conseiller par des proches. Vous pourriez aussi demander conseil à d’autres « clients » de la boutique qui la visiteraient en même temps que vous. Dans les boutiques où en passant de l’une à l’autre, il vous serait possible de croiser des personnes de votre connaissance (du monde réel ou virtuel) et interagir avec elles.

    Le centre commercial évoqué proposerait les grandes enseignes habituelles, mais vous auriez la possibilité de le personnaliser en y intégrant vos artisans et petits commerçants préférés, comme cette brasserie artisanale découverte sur un marché il y a quelque temps. Quel intérêt pour vous et pour elle ? La boutique dans le métavers serait un lieu de rencontre, d’échanges et de commerce, au même titre qu’un étal sur un marché, mais sans les contraintes de jour et d’heure, sans les contraintes logistiques, sans la météo capricieuse, etc. Il y a bien sur de nombreuses choses du monde réel qu’on préfèrera voir, goûter ou essayer avant d’acheter. Il y en a aussi de nombreuses qu’on peut acheter sans discuter, « les yeux fermés », ce qui fait le succès des courses en ligne livrées en drive ou à domicile. Mais pour certaines choses, le métavers pourrait offrir une expérience plus riche que le commerce en ligne actuel et moins contraignante que les formes de commerce physiques.

    Le métavers pourrait vous offrir la possibilité d’organiser vous-même vos activités collectives. Vous voulez revoir vos oncles, tantes, cousins et cousines perdus de vue depuis des lustres ? Vous ne voulez pas faire le tour de France et ne pouvez pas loger tout ce monde ? Organisez la rencontre dans le métavers, et profitez des reconstitutions de grands lieux touristiques ! Envie de voir avec eux les calanques de Marseille ou Venise ? L’expérience ne sera évidemment pas la même que dans le monde réel, mais vous pourrez avoir ces lieux rien que pour vous et vos proches, et vous pourrez les visiter de manière inédite, en les survolant par exemple. L’agence de voyage du métavers vous proposera peut-être de compléter l’expérience en dégustant un plat typique (livré chez vous et vos proches) dans une ambiance visuelle et sonore reconstituée. Alors les cousins : supions à la provençale sur le vieux port, ou cicchetti sur la place Saint-Marc ?

    Photo Helena Lopez – Pexels

    Comme certains jeux vidéo actuels, le metavers permettra sans doute la pratique de différents sports, seul ou à plusieurs. L’hiver, avec votre club de cyclisme, vous pourrez vous entraîner sur des parcours virtuels (avec un vrai vélo comme interface, si vous le souhaitez). Envie de lâcher le vélo pour un parcours de randonnée au départ du village dans lequel vous venez d’arriver ? Pas de problème : le métavers est un monde dans lequel on peut basculer facilement d’une activité à l’autre. De nouveaux sports pourraient être inventés par les utilisateurs du métavers, au sens « activités nécessitant un entraînement et s’exerçant suivant des règles, sur un mode coopératif ou compétitif ». La pratique d’un sport virtuel vous amènera peut-être à constituer avec d’autres une équipe, un club. Pour vous entraîner, quel que soit votre niveau, vous devriez sans problème trouver dans le métavers d’autres personnes de niveau similaire ou à peine supérieur, pour peu que les clubs se regroupent en fédérations. Le métavers pourrait aussi changer votre expérience de spectateur de compétitions sportives. Pourquoi ne pas vivre le prochain match de votre équipe de football préférée dans le métavers du point de vue de l’avatar de son avant-centre plutôt que depuis les tribunes virtuelles ?

    Photo Rodnae – Pexels

    Le métavers pourrait fournir l’occasion et les moyens de reconsidérer la manière dont nous organisons le travail de bureau. Un bureau virtuel peut facilement être agrandi pour accueillir une nouvelle personne, si besoin. Un étage de bureaux virtuel peut facilement placer à proximité des personnes qui travaillent dans un même service mais qui sont géographiquement réparties dans le monde réel. En combinant l’organisation spatiale de l’activité permise par le métavers avec des outils que nous utilisons déjà (messageries instantanées, suites bureautiques partagées en ligne, outils de visioconférence, etc.), peut-être pourra-t-on proposer de nouveaux environnements de travail collaboratifs permettant de (re)créer du lien entre des personnes travaillant à distance, quelle qu’en soit la raison ? Il ne s’agit pas seulement ici d’améliorer la manière dont on peut tenir des réunions. Le métavers pourrait aussi permettre des rencontres fortuites et des échanges spontanés et informels entre des personnes, à travers des espaces collectifs (couloirs entre les bureaux, salles de détente) ou des événements (afterwork virtuel).

    On pourrait voir des usages du métavers se développer dans le domaine de la santé. La réalité virtuelle est déjà utilisée depuis de nombreuses années pour traiter des cas de phobie (animaux, altitude, relations sociales, etc.) et de stress post-traumatiques (accidents, agressions, guerres, etc.). Ces thérapies reposent sur une exposition graduelle et maîtrisée par un soignant à une représentation numérique de l’objet engendrant la phobie. Le fait d’agir dans un environnement virtuel, d’en maîtriser tous les paramètres et de pouvoir rapidement et facilement stopper l’exposition ont contribué au succès de ces approches, qu’on imagine facilement transposables dans un métavers où elles pourraient être complétées par d’autres activités. Les simulateurs actuellement utilisés pour la formation de professionnels de santé ou les agents conversationnels animés développés ces dernières années pour le diagnostic ou le suivi médical pourraient aussi être intégrés au métavers. De nouveaux services de téléconsultation pourraient aussi être proposés.

    Le métavers pourrait servir de plateforme d’accès à des services publics. La municipalité de Séoul a ainsi annoncé qu’elle souhaitait ouvrir en 2023 une plateforme de type métavers pour « s’affranchir des contraintes spatiales, temporelles ou linguistiques ». Cette plateforme intègrera des reconstitutions des principaux sites touristiques de la ville actuelle, mais aussi des reconstitutions d’éléments architecturaux disparus. Les habitants pourront interagir avec des agents municipaux via leurs avatars et pourront ainsi accéder à une variété de services publics (économiques, culturels, touristiques, éducatifs, civils) dont certains nécessitaient jusqu’ici de se rendre en mairie. Des manifestations réelles seront dupliquées dans le métavers afin de permettre à des utilisateurs du monde entier de les suivre.

    Questions ouvertes

    Le métavers, par son organisation spatiale et sa dimension sociale, sera l’opportunité de développer des communautés, pratiques et cultures. Ce qui en sortira dépendra beaucoup de la capacité de ses utilisateurs à se l’approprier. Le métavers pose toutefois dès aujourd’hui un certain nombre de questions.

    Qui pourra réellement y accéder ? Il faudra sans aucun doute une « bonne » connexion réseau et un terminal performant, mais au-delà, les différences entre le métavers et le web n’introduiront-elles pas de nouvelles barrières à l’entrée, ou de nouveaux freins ? Le World Wide Web Consortium (W3C) a établi pour celui-ci des règles pour l’accessibilité des contenus à l’ensemble des utilisateurs, y compris les personnes en situation de handicap (WCAG). Combien de temps faudra-t-il pour que des règles similaires soient définies et appliquées dans le métavers ? Sur le web, il n’y a pas d’emplacement privilégié pour un site, la notion d’emplacement n’ayant pas de sens. Dans un monde virtuel en partie fondé sur une métaphore spatiale, la localisation aura de l’importance. On voit déjà de grandes enseignes se précipiter pour acquérir des espaces dans les proto-métavers, et des individus payant à prix d’or des « habitations » voisines de celles de stars. Qui pourra dans le futur se payer un bon emplacement pour sa boutique virtuelle ?

    Le métavers, comme nous l’avons expliqué, c’est la combinaison de la réalité virtuelle, des jeux vidéo, des réseaux sociaux et des cryptomonnaies, propices à la spéculation. En termes de risques de comportements addictifs, c’est un cocktail explosif ! L’immersion, la déconnexion du réel, l’envie de ne pas finir sur un échec ou de prolonger sa chance au jeu, la nouveauté permanente, la peur de passer à côté de quelque chose « d’important » pendant qu’on est déconnecté et l’appât du gain risquent fort de générer des comportements toxiques pour les utilisateurs du métavers et pour leur entourage. En France, l’ANSES — qui étudie depuis plusieurs années l’impact des technologies numériques sur la santé[1] — risque d’avoir du travail. De nouvelles formes de harcèlement ont aussi été signalées dans des métavers, particulièrement violentes du fait de leur caractère immersif et temps réel. En réponse, Meta a récemment mis en place dans Horizon World et Horizon Venues une mesure de protection qui empêche les avatars de s’approcher à moins d’un mètre de distance. D’autres mesures et réglementations devront-elles être mises en place ?

    On a vu se développer sur le web et les réseaux sociaux des mécanismes de collecte de données personnelles, de marketing ciblé, de manipulation de contenus, de désinformation, etc.  S’il devient le lieu privilégié de nos activités en ligne et que celles-ci se diversifient, ne risquons-nous pas d’exposer une part encore plus importante de nous-même ? Si ces activités sont de plus en plus sociales, regroupées dans un univers unique et matérialisées (si on peut dire) à travers nos avatars, ne seront-elles pas observables par un plus grand nombre d’acteurs ? Faudra-t-il jongler entre différents avatars pour que nos collègues de travail ne nous reconnaissent pas lors de nos activités nocturnes ? Pourra-t-on se payer différents avatars ? Quel sera l’équivalent des contenus publicitaires aujourd’hui poussés sur le web ? Des modifications significatives et contraignantes de l’environnement virtuel ? « Ce raccourci vers votre groupe d’amis vous permettant d’échapper à un tunnel de panneaux publicitaires vous est proposé par Pizza Mario, la pizza qu’il vous faut » Les technologies chaîne de blocs (blockchain en anglais) permettront-elles au contraire de certifier l’authenticité de messages ou d’expériences et d’empêcher leur altération ?

    Lors de la rédaction de ce texte, nous avons souvent hésité entre « le métavers » et « les métavers ». Dans la littérature comme dans la vidéo d’annonce de Facebook/Meta, le concept est présenté comme un objet unique en son genre, mais on imagine assez facilement des scénarios alternatifs, trois au moins, sans compter des formes hybrides. Le premier est celui d’une diversité de métavers sans passerelle entre eux et dont aucun ne s’imposera vraiment parce qu’ils occuperont des marchés différents. C’est la situation du web actuel (Google, Meta, Twitter, Tik Tok et autres sont plus complémentaires que concurrents), qui motive en partie les promoteurs du Web3. Le deuxième scénario est celui d’un métavers dominant largement les autres. Celui-ci semble peu probable à l’échelle planétaire, ne serait-ce qu’à cause de la confrontation USA – Chine (– Europe ?). Le troisième scénario est celui d’une diversité de métavers avec un certain niveau d’interopérabilité technique et existant en bonne harmonie. Il n’est pas certain que ce soit le plus probable : l’interopérabilité est souhaitable mais sera difficile à atteindre. Nous pensons plutôt que c’est le premier scénario qui s’imposera. La diversité, donc le choix entre différents métavers, est une condition nécessaire tant à l’auto-détermination individuelle qu’à la souveraineté collective.

    Qui va réguler les métavers ? Dans le monde du numérique, les normes prennent parfois du temps à s’établir et n’évoluent pas nécessairement très vite. Quand il s’agit de normes techniques, ce n’est pas un problème : le protocole HTTP est resté figé à la version 1.1 de 1999 à 2014, et cela n’a pas empêché le développement du web. Quand il s’agit de réguler les usages, les comportements, ce peut être plus problématique. Jusqu’ici, on peut s’en réjouir ou s’en désoler, le secteur du web a été peu régulé. Ceux qui définissent les règles sont souvent les premiers joueurs, qui sont en fait les premiers possédant les moyens de jouer, c’est à dire les grands acteurs du web aujourd’hui. Si demain, une partie de nos activités personnelles et professionnelles se déroule dans des métavers créés par eux sur la base d’infrastructures matérielles et logicielles extra-européennes, quels seront le rôle et la pertinence dans ces mondes des états européens ? Si ces mondes sont créés par des collectifs transcontinentaux et autogérés par des individus, la situation sera-t-elle plus favorables à ces états ?

    Enfin, mais ce n’est pas le moins important, d’un point de vue beaucoup plus pragmatique et à plus court terme, on peut s’interroger sur la pertinence de se lancer dans le développement de métavers au moment où nous sommes déjà tous confrontés aux conséquences de nos activités sur l’environnement. Le tourisme virtuel aidera peut-être à réduire notre empreinte carbone, mais le coût écologique lié à la mise en œuvre des métavers (réalité virtuelle, réseaux haut-débit, chaîne de blocs, etc.) ne sera-t-il pas supérieur aux économies générées ? Le bilan devra bien sur tenir compte des usages effectifs des métavers, de leur utilité et de leur impact positif sur la société.

    Pour conclure

    Ni enfer, ni paradis par construction, les métavers présentent des facettes tant positives que négatives, à l’image de beaucoup d’autres innovations technologiques (comme l’intelligence artificielle, par exemple). Nous avons tendance à surestimer l’impact des nouvelles technologies à court-terme et à sous-estimer leur impact à long-terme, c’est la loi d’Amara. Les métavers tels qu’on nous les décrits seront sans doute difficiles à mettre en œuvre. Rien ne dit que ceux qui essaieront y arriveront, que les environnements produits seront massivement utilisés, qu’ils le resteront dans la durée ou que nous pourrons nous le permettre (pour des raisons environnementales, par exemple). Les choses étant de toute manière lancées et les investissements annoncés se chiffrant en milliards d’euros, on peut au minimum espérer que des choses intéressantes résulteront de ces efforts et que nous saurons leur trouver une utilité.

    Alors que faire ? Rester passifs, observer les tentatives de mise en œuvre de métavers par des acteurs extra-européens, puis les utiliser tels qu’ils seront peut-être livrés un jour ? S’y opposer dès à présent en considérant que les bénéfices potentiels sont bien inférieurs aux risques ? Nous proposons une voie alternative consistant à développer les réflexions sur ce sujet et à explorer de façon maîtrisée les possibles ouverts par les technologies sous-jacentes, en d’autres termes, à jouer un rôle actif pour tenter de construire des approches vertueuses, quitte à les abandonner – en expliquant publiquement pourquoi – si elles ne répondent pas à nos attentes. Nous sommes persuadés qu’une exploration menée de façon rigoureuse pour évaluer des risques et des bénéfices est nettement préférable à un rejet a priori non étayé.

    Pascal Guitton (Université de Bordeaux & Inria) & Nicolas Roussel (Inria)

    [1] Voir par exemple son avis récent sur les expositions aux technologies de réalité virtuelle et/ou augmentée

    Références additionnelles (*)

    Quelques émissions, interviews ou textes récents :

     

    Deux articles de recherche illustrant des approches très différentes des environnements virtuels collaboratifs :

     

    • Solipsis: a decentralized architecture for virtual environments (D. Frey et al., 05/11/2008)
      https://hal.archives-ouvertes.fr/inria-00337057
    • Re-place-ing space: the roles of place and space in collaborative systems (S. Harrison & P. Dourish, 03/12/96)
      https://www.dourish.com/publications/1996/cscw96-place.pdf

    Deux fictions dans lesquelles on parle d’onirochrone et de cyberespace :

     

    Et aussi : https://estcequecestlanneedelavr.com

    (*) en plus de celles pointées par des liens dans le texte de l’article

  • Le métavers, quels métavers ? (1/2)

    En octobre 2021, Facebook a annoncé le développement d’un nouvel environnement virtuel baptisé Metaverse. Cette information a entrainé de  nombreuses réactions tant sous la forme de commentaires dans les médias que de déclarations d’intention dans les entreprises. Comme souvent face à une innovation technologique, les réactions sont  contrastées : enfer annoncé pour certains, paradis pour d’autres. Qu’en penser ? C’est pour contribuer à cette réflexion que nous donnons la parole à Pascal Guitton et Nicolas Roussel. Dans ce premier article – bientôt suivi d’un second – ils nous expliquent de quoi il s’agit vraiment.
    Binaire, le blog pour comprendre les enjeux du numérique, en collaboration avec theconversation.

    De quoi parle-t-on ?

    Le concept de métavers[1] vient de la littérature de science-fiction. Le terme est apparu la première fois dans un roman de 1992, Le samouraï virtuel de Neal Stephenson, pour décrire un univers généré par ordinateur auquel on accède à l’aide de lunettes et d’écouteurs. D’autres romans avaient auparavant décrit des mondes virtuels plus ou moins similaires sous d’autres termes : simulateur dans un roman de Daniel F. Galouye de 1968, ou cyberespace dans les romans de William Gibson du début des années 1980, par exemple.

    Les premières réalisations concrètes de ce concept remontent aux années 1990-1995 pour Active Worlds, aux Etats Unis, ou 1997 pour Le deuxième monde, en France. Elles ont longtemps été limitées par les capacités techniques du moment.

    Aujourd’hui, il existe un grand nombre de métavers, la plupart méconnus, et c’est l’annonce de Facebook/Meta qui a remis sur le devant de la scène médiatique ces environnements.

    Photo de Bradley Hook – Pexels

    Même s’il n’existe pas de définition précise, on peut lister quelques éléments caractéristiques d’un métavers :

    • C’est une réalisation informatique qui permet de créer un univers virtuel — ou monde ou environnement virtuel — dans lequel nous pouvons interagir ;
    • L’environnement virtuel créé est composé d’éléments de paysage ou de décor, d’objets divers et d’êtres animés autonomes ou contrôlés depuis le monde réel (on parle alors d’avatars) ;
    • L’environnement peut reproduire une partie du monde réel (la ville de Paris, dans Le deuxième monde), matérialiser des éléments abstraits de celui-ci (les éléments logiciels d’un ordinateur dans le film Tron, ou les interconnexions de réseaux informatiques dans le cyberespace de la littérature cyberpunk) ou proposer quelque chose de totalement nouveau ;
    • Les lois de cet environnement virtuel et l’aspect et le comportement de ce qui le compose peuvent être similaires à ceux du monde réel, ou non (on peut donner à un avatar humain la possibilité de survoler une ville, par exemple) ;
    • L’accès à cet environnement se fait à travers des interfaces classiques (clavier, souris et/ou manette, écran éventuellement tactile) ou spécifiques (casque, lunettes, gants, etc.) qui permettent de percevoir le monde (via une représentation visuelle, sonore, haptique, olfactive) et d’interagir avec ce qui le compose ;
    • A travers ces interfaces, diverses activités sont possibles : se déplacer ; observer ; créer ou modifier des éléments ; en acquérir ou en échanger ; collaborer ou rivaliser avec d’autres personnes présentes ; etc.
    • L’environnement est accessible et utilisable simultanément par un très grand nombre de personnes ;
    • L’environnement persiste dans la durée et évolue en permanence, qu’on y accède ou non, on le retrouve ainsi rarement dans l’état où on l’a laissé.

    L’ensemble de ces caractéristiques permet à une société virtuelle de se développer, avec une culture propre, une économie, etc.

    D’où vient ce concept ?

    Première idée reçue à déconstruire : les métavers ne sont pas issus d’une révolution technologique récente initiée par Facebook. Ils reposent sur de nombreux développements scientifiques, technologiques, applicatifs et évènementiels parfois anciens qu’il convient de rappeler.

    Les métavers s’inscrivent dans le domaine de la réalité virtuelle (RV) apparue au début des années 1980 et reposant sur une représentation immersive (visuelle et parfois aussi sonore et/ou haptique) d’un environnement virtuel avec laquelle l’utilisateur peut interagir pour se déplacer et réaliser des tâches variées. La richesse de cette représentation et de cette interaction génère un sentiment de présence dans l’environnement virtuel qui favorise l’implication de l’utilisateur. Focalisées sur la compréhension de phénomènes, la conception d’objets ou systèmes et l’apprentissage de tâches, les applications de la RV se sont d’abord cantonnées à des secteurs comme les transports, l’industrie, l’architecture et l’urbanisme, la médecine, puis se sont ouvertes à d’autres domaines comme le tourisme, la culture et le divertissement.

    Dans les années 1990, le développement des technologies numériques a permis la création d’environnements virtuels collaboratifs dans lesquels différents utilisateurs pouvaient être simultanément immergés. A la croisée de différents domaines (RV, communication médiatisée, environnements de travail numériques), les premiers environnements multi-utilisateurs ciblaient encore souvent des situations professionnelles, notamment la fabrication de véhicules (voitures, avions, lanceurs de satellites) dont les acteurs sont le plus souvent localisés sur des sites différents. Assez vite, cependant, on a vu émerger des environnements destinés à des publics et des activités plus larges. Mentionnons par exemple le Deuxième monde lancé en 1997 par Canal + ou bien Second life lancé en 2003, qui a compté jusqu’à un million d’utilisateurs et reste aujourd’hui accessible.

    Reconstitution de mouvements de foules dans un espace urbain – Inria, Photo C. Morel

    Des recherches ont été menées sur les architectures nécessaires au passage à une plus grande échelle (en France, dans le cadre du projet Solipsis, par exemple). Le développement continu des technologies numériques a ensuite permis la diffusion à large échelle de matériels et logiciels précédemment cantonnés aux laboratoires de recherche ou très grandes entreprises. L’apparition dans les années 2010 de casques de réalité virtuelle de très bonne qualité mais à coût nettement réduit a notamment permis le développement de nouveaux usages de cette technologie dans les environnements professionnels et domestiques.

    Les métavers s’inscrivent aussi dans l’évolution récente des jeux vidéo. Ces jeux proposent depuis longtemps l’exploration de mondes virtuels, mais plusieurs tendances ont profondément changé la donne ces dernières années.

    L’approche « monde ouvert » sur laquelle reposent certains jeux permet l’exploration libre du monde proposé, et non plus seulement la simple progression dans une structure narrative prédéterminée. Les jeux multi-joueurs en ligne sont devenus courants. La liberté d’action permet, au-delà de la simple coprésence, la collaboration ou la rivalité entre les joueurs. Les jeux leur permettent de communiquer par texte ou oralement, de se socialiser, de s’organiser en équipes, en clans. Certains sont conçus comme des plateformes qui évoluent dans le temps à travers des mises à jour et ajouts significatifs (décors, objets, personnages animés, etc.), au point que l’on parle pour ces jeux de « saisons », comme pour les séries télévisées.

    Des jeux permettent d’acquérir — en récompense à des actions ou contre de la monnaie virtuelle achetée dans le monde réel — des armes, ballons et autres objets, des tenues, des véhicules, des bâtiments, etc. Certains permettent aussi de créer des objets, de les échanger ou de les vendre. Une économie se crée ainsi au sein de ces environnements, inscrite dans la durée et avec des conséquences bien tangibles dans le monde réel[2]. Ces sociétés et économies virtuelles attirent dans le secteur des jeux vidéo des entreprises d’autres secteurs comme ceux de la musique, pour y organiser des concerts[3], ou du luxe, pour y vendre des objets griffés[4].

    Dofus (2004), Roblox (2006), Minecraft (2011),  GTA online (2013), Fortnite (2017) ou les éditions récentes de Call of Duty (2003) illustrent la plupart des caractéristiques citées. Les briques technologiques créées pour réaliser ces environnements ont atteint un niveau très élevé de maturité et sont aujourd’hui utilisées dans de nombreux autres secteurs. Les « moteurs graphiques » Unity et Unreal sont ainsi couramment utilisés pour des applications dans les domaines de l’architecture, du cinéma ou de l’ingénierie. Ces briques pourraient jouer un rôle important dans la réalisation de nouveaux métavers, et sont valorisées comme telles[5].

    L’engouement pour les métavers coïncide aussi avec un questionnement sur l’avenir des réseaux sociaux et la place des GAFAM, et de nouvelles possibilités offertes par les technologies de type chaîne de blocs (blockchain en anglais). Les réseaux sociaux tels que nous les connaissons sont de formidables outils de communication, avec un effet démultiplicateur pour le meilleur et pour le pire. Les métavers ouvrent de nouvelles possibilités, proposent de nouvelles interactions sociales, au-delà de la simple communication à base de textes courts ou d’images. Ils sont l’occasion de repartir sur de nouvelles bases, avec l’espoir — pour les plus optimistes — qu’elles ne conduiront pas nécessairement aux mêmes dérives.

    Les technologies chaîne de blocs offrent les moyens de créer de la rareté numérique (des objets numériques ne pouvant exister qu’en nombre fini), de vérifier l’authenticité et la propriété d’un objet, de tracer son histoire, de permettre à son créateur ou sa créatrice de percevoir une redevance sur ses reventes par le biais de « contrats intelligents », etc. On voit se construire au-dessus de ces technologies de nouveaux jeux/mondes comme Decentraland ou Axie Infinity dans lesquels les joueurs/utilisateurs sont aussi les créateurs et administrateurs du monde virtuel, et peuvent en tirer de réels profits.

    Cette implication des utilisateurs dans la création et l’administration permet d’envisager à terme des mondes bien plus complexes. Ces nouveaux mondes s’inscrivent dans ce qu’on qualifie de « Web3 », un internet décentralisé (au sens du pouvoir, pas de l’architecture informatique) qui permettrait aux utilisateurs de reprendre le contrôle aux acteurs qui dominent le système actuel.

    Des décennies de romans et de films de science-fiction nous ont préparé aux métavers (Matrix, Ready Player One ou Free Guy par exemple, en plus des romans ou films déjà cités). La pandémie de Covid nous a poussé à déployer en masse des moyens informatiques pour nous coordonner, communiquer et collaborer. Des réunions de travail, des cours, des conférences, des concerts et autres performances artistiques en public se sont déroulés dans des conditions inédites. Malgré certaines difficultés, une étape a été franchie avec la numérisation de ces activités. Peut-on envisager ces expériences et d’autres sous des formes numériques plus riches, à plus grande échelle, telles que nous les promettent depuis longtemps les fictions sur les métavers ?

    Dans un texte de 2005, Cory Ondrejka (un des créateurs de Second Life) écrivait : « [Le métavers] sera si énorme que seules des approches distribuées de la création pourront générer son contenu. Les utilisateurs devront donc construire le monde dans lequel ils vivront. […] Ces résidents attireront des utilisateurs occasionnels qui joueront à des jeux, constitueront un public et deviendront des clients. Cela constituera l’offre et la demande d’un énorme marché de biens et de services. Les créateurs ayant la propriété et les droits [sur leurs créations], cela permettra la création de richesse et de capital qui alimenteront la croissance. Ce n’est qu’alors que le Metaverse basculera et que le monde, tant réel qu’en ligne, ne sera plus jamais le même. ».

    La convergence des éléments cités plus haut nous amène-t-elle au point de bascule ? De nombreuses questions scientifiques, technologiques, politiques, juridiques, économiques et sociologiques (entre autres) se posent encore. L’excitation actuelle retombera-t-elle avant qu’on ait pu y répondre ? Saura-t-on y répondre ? D’autres préoccupations rendront-elles toutes ces interrogations futiles ? Difficile de formuler un avis définitif…en attendant la seconde partie de l’article qui sera publiée jeudi prochain.

    Pascal Guitton (Université de Bordeaux & Inria) & Nicolas Roussel (Inria)

    [1] en anglais, on utilise Metaverse, contraction de meta + universe

    [2] Fortnite, en accès gratuit, génère chaque année plusieurs milliards de dollars de chiffre d’affaires dans le monde réel à travers les microtransactions qu’il permet avec sa monnaie virtuelle.

    [3] En 2020, une série de cinq concerts de Travis Scott a réuni plus de 27 millions de joueurs de Fortnite.

    [4] Une représentation numérique d’un sac Gucci a été vendue plus de 4000 dollars dans Roblox l’été dernier. Le sac vaut un peu plus de 3000 dollars dans le monde réel. Sa représentation numérique ne peut être sortie du jeu et ne peut être revendue dans celui-ci.

    [5] Roblox est valorisée en bourse à hauteur de 45 milliards de dollars, soit une fois et demi la valorisation de Twitter. Microsoft vient de racheter l’éditeur de jeux Activision Blizzard pour 69 milliards de dollars en expliquant que cette acquisition l’aiderait à développer les briques de base du métavers.

  • Réimaginer nos interactions avec le monde numérique

    Wendy E. Mackay est Directrice de Recherche Inria. Elle est la toute nouvelle titulaire de la Chaire « Informatique et sciences numériques » du Collège de France où elle présente un cours intitulé « Réimaginer nos interactions avec le monde numérique ». La leçon inaugurale de ce cours est le 24 février 2022. Dans un monde où les machines sont de plus en plus présentes, son travail sur les interactions avec les machines est particulièrement essentiel. Elle avait déjà participé aux Entretiens autour de l’informatique en 2014 avec « L’être humain au cœur de la recherche en IHM ». Serge Abiteboul.

    Wendy Mackay, ©Collège de France

    Leçon inaugurale le 24 février 2022

    Comment ré-imaginer le monde numérique ? Se focaliser seulement sur la technologie, c’est manquer l’essentiel : nos interactions avec cette technologie. Mon domaine, l’Interaction Humain-Machine, pose une question fondamentale : Comment garantir que les ordinateurs répondent aux besoins des personnes qui les utilisent ? Non pas en général, mais de façon précise, à chaque instant et pour chacun.

    La leçon inaugurale du cours « Réimaginer nos interactions avec le monde numérique » offre un aperçu de ce domaine, y compris son rôle dans la révolution informatique, et des exemples historiques qui restent visionnaires aujourd’hui encore. J’explique les fondements théoriques de ce domaine multidisciplinaire qui puise dans les sciences naturelles et sociales ainsi que dans l’informatique, l’ingénierie et le design, et les défis qui se posent lorsque nous étudions des phénomènes que, par ailleurs, nous créons.

    J’analyse les problèmes que peuvent causer les systèmes interactifs, avec des exemples de systèmes critiques où des défauts mineurs d’interface utilisateur ont conduit à des catastrophes. Je décris également les différentes relations que nous entretenons avec les systèmes informatiques, qu’il s’agisse d’un outil que nous apprenons à utiliser, d’un assistant intelligent à qui nous déléguons des tâches ou d’un support riche pour communiquer avec les autres. Je trace enfin une perspective vers de véritables partenariats entre les humains et leurs instruments numériques.

    Les quatre premières leçons présentent les principes fondamentaux de l’interaction entre l’humain et l’ordinateur. Je commence par les principaux enseignements de la recherche sur les capacités humaines, avec des exemples qui illustrent leur contribution à la conception de technologies interactives. Ensuite, je mets l’accent sur les capacités pertinentes des systèmes informatiques, y compris les défis inhérents à la conception de l’interaction, avec des exemples historiques et actuels. La troisième leçon examine le processus de conception centré sur l’utilisateur, avec des exemples historiques de systèmes révolutionnaires et de méthodes permettant de générer de nouvelles technologies innovantes. La quatrième leçon explique comment évaluer les systèmes interactifs tout au long du processus de conception, en utilisant des méthodes qualitatives et quantitatives.

    L’interaction humain-machine tire ses théories et ses méthodes d’une grande variété de disciplines, en particulier dans les domaines des sciences naturelles et des sciences humaines et sociales. Les quatre leçons suivantes présentent quatre domaines de recherche actuels dans le domaine de l’interaction humain-machine. Chaque domaine a une longue histoire de recherches innovantes et continue d’être un domaine actif de recherche :

    • l’interaction multimodale : comment interagir avec tout le corps ;
    • la réalité augmentée et virtuelle : comment intégrer l’informatique avec le monde physique ;
    • la communication médiatisée : comment concevoir des systèmes collaboratifs ;
    • les partenariats humain-machine : comment interagir avec l’intelligence artificielle.

    Les humains utilisent diverses modalités pour communiquer, notamment la parole, les gestes, les expressions faciales et les mouvements du corps. La cinquième leçon retrace l’histoire des systèmes interactifs qui vont au-delà des entrées-sorties classiques que sont la souris, le clavier et l’écran. On peut par exemple penser aux interactions que nous avons tous les jours avec nos smartphone via un écran tactile. Je mentionne également des travaux qui combinent plusieurs modalités, comme la parole et le geste. Elle présente notamment des applications dans le domaine de la créativité, où les utilisateurs se servent de l’ensemble du corps pour créer avec le système.

    En tant qu’êtres humains, nous utilisons la « physique de tous les jours » pour interagir avec le monde qui nous entoure. La réalité augmentée s’appuie sur cette compréhension pour « enrichir » dynamiquement les objets physiques d’informations et en mélangeant objets physiques et numériques. La réalité virtuelle, quand à elle, cherche à immerger l’utilisateur dans des mondes réels ou imaginaires simulés. La sixième leçon décrit leurs histoires entremêlées, illustrées par des exemples tirés de mes propres recherches sur le papier interactif et appliquées à un éventail de domaines allant du contrôle du trafic aérien à la musique contemporaine.

    Les médias sociaux sont aujourd’hui partout et notre capacité à collaborer à distance est devenue une seconde nature, particulièrement depuis la pandémie, avec des outils de partage de documents et de communication directe ou différée par le texte, la voix ou la vidéo. La septième leçon retrace l’histoire de la communication médiatisée, en incluant des exemples tirés de mes propres recherches sur les mediaspaces et la vidéo collaborative, et décrit les recherches récentes sur la façon dont les innovations des utilisateurs avec les médias sociaux ont transformé notre façon de penser et d’utiliser les ordinateurs.

    L’avènement de l’intelligence artificielle (IA) a transformé notre façon d’interagir avec les ordinateurs. Même si l’IA peut parfois remplacer l’humain, elle est le plus souvent vouée à aider celui-ci, par exemple dans des tâches d’aide à la décision. Pourtant, une grande partie de la recherche actuelle se concentre sur la manière de créer des algorithmes plus puissants, et moins sur la manière dont ces algorithmes affectent les personnes qui les utilisent. La huitième leçon retrace l’histoire des relations entre l’IA et de l’IHM, y compris mes propres recherches sur les partenariats homme-machine, où les utilisateurs restent maîtres de l’interaction afin de passer du paradigme de « l’être humain dans la boucle » à celui de « l’ordinateur dans la boucle ».

    Wendy E. Mackay, Directeur de Recherche, Inria
    Professeure au Collège de France,
    Chaire Informatique et Sciences Numériques, 2021-2022

    La chaire Informatique et Sciences numériques

    Le site du Collège de France

    L’informatique au Collège de France sur binaire

    Les titulaires de la Chaire

    • Wendy Mackay – Réemaginer nos interactions avec le monde numérique 2021-2022
    • Frédéric Magniez – Algorithmes quantiques 2020-2021
    • Walter Fontana – La biologie de l’information. Un dialogue entre informatique et biologie 2019-2020
    • Rachid Guerraoui – Algorithmique répartie 2018-2019
    • Claire Mathieu – Algorithmes 2017-2018
    • Jean-Daniel Boissonnat – Géométrie algorithmique : des données géographiques à la géométrie des données 2016-2017
    • Yann LeCun – L’apprentissage profond : une révolution en intelligence artificielle
    • Marie-Paule Cani – Façonner l’imaginaire : de la création numérique 3D aux mondes virtuels animés 2014-2015
    • Nicolas Ayache – Des images médicales au patient numérique 2013-2014
    • Bernard Chazelle – L’algorithmique et les sciences 2012-2013
    • Serge Abiteboul – Sciences des données : de la logique du premier ordre à la toile 2011-2012
    • Martin Abadi – La sécurité informatique 2010-2011
    • Gérard Berry – Penser, modéliser et maîtriser le calcul informatique 2009-2010

     

     

  • Intelligence artificielle en médecine, faire de l’interpretabilité des réseaux de neurones une boite à outil pour le praticien

    Quelle est l’importance et l’impact de l’interprétabilité et de l’explicabilité, domaines de recherche très porteurs pour démystifier l’Intelligence Artificielle (IA), dans la relation entre l’IA et le praticien pour une relation de confiance. Discutons de ce point avec le Dr Masrour Makaremi, docteur en chirurgie dentaire, spécialiste en orthopédie dento-faciale orthodontie titulaire d’un master2 en Anthropologie biologique et d’un master2 en Neuroscience computationnelle-sciences cognitives. Il est actuellement Doctorant en Neuroscience cognitives de l’Université de Bordeaux, et  soutiendra prochainement sa thèse de science qui traite en partie de l’apport de l’interpretabilité des réseaux de neurones à une meilleure compréhension des dysmorphoses cranio-faciales. Ikram Chraibi Kaadoud, Thierry Vieville, Pascal Guitton

     

    En tant que praticien, comment en êtes-vous arrivé au domaine de l’IA ? 

    L’évolution de la technologie a toujours accompagné l’évolution de la médecine, mais cela est d’autant plus vrai ces dernières années, car l’émergence de l’IA dans la sphère médicale, vient changer non seulement notre pratique, mais aussi la manière d’envisager les outils et d’interagir avec eux, et par extension, cela vient aussi changer notre relation avec les patients.

    C’est en écoutant Yann Lecun en 2016 au collège de France, que je me suis réellement intéressé à l’IA. Il a su, à travers ses cours, démystifier le fonctionnement des réseaux de neurones artificiels que  j’ai commencé à envisager comme un moyen de pratiquer différemment mon métier…devenir en quelque sorte un expert augmenté en utilisant l’IA. Cette stratégie d’augmentation signifie que l’on part de ce que les humains font aujourd’hui pour arriver à comprendre la manière dont ce travail pourrait être approfondi, et non diminué, par une utilisation plus poussée de l’IA [1].

     Quels sont les challenges de l’IA en médecine ?

     C’est définitivement, la création d’un lien entre la cognition de l’expert et le flux des calculs numériques ! En résumé, les sciences cognitives ! Je m’explique : aujourd’hui les outils à base d’IA sont des outils soit d’aide à la décision, qui font par exemple des propositions de diagnostic, soit des outils pour faciliter le quotidien en prenant en charge les tâches répétitives. Par exemple, positionner des points sur un tracé céphalométrique pour objectiver les décalages des bases osseuses[2]. Ces outils sont déjà d’une très grande aide dans la pratique de mon métier au quotidien. Néanmoins, il leur manque la capacité de prendre en compte la cognition de l’expert auquel ils sont destinés.

    Par exemple, prenons le cas d’un joueur d’échecs. Lorsqu’il regarde un plateau, il va mentalement découper celui-ci, l’analyser et imaginer facilement le prochain mouvement, et tout cela en peu de secondes. La théorie des chunks [3]  a démontré que les maîtres d’échecs préparent leurs coups grâce à une intuition guidée par le savoir, en comparant le jeu devant leurs yeux à une situation de jeu similaire stockée dans leur mémoire épisodique à long terme (hippocampe).

    Figure 1 – Présentation d’une situation d’échec sous deux aspects différents, la même information présenté de deux manières différentes apportera potentiellement des réponses différentes de l’expert

    Si l’on met ce même joueur d’échec devant une feuille où cette fois ci le jeu d’échec est présenté sous la forme de suite de codes indiquant la position des pions (ex cavalier C4, exemple illustré en Figure 1) et qu’on lui demande de jouer, sa réponse changera. Il mettra probablement plus de temps, proposera peut-être une réponse moins performante, ou tout simplement risque d’être trop perturbé pour répondre. La modification de la représentation du problème, va donc changer la réponse de l’expert humain et cela est complètement normal. Or on demande justement à l’IA de pallier celà, mais sans connaissance de l’expert avec lequel elle doit s’interfacer. Réussir une stratégie d’augmentation nécessite la connexion de l’intuition  de l’expert au flux du processus numérique.

    Lors de la conception d’un produit quel qu’il soit, des utilisateurs sont de plus en plus souvent sollicités pour tester les produits et ainsi s’assurer que ces derniers répondent bien aux attentes. C’est aussi souvent le cas en informatique et en IA, mais cela ne semble pas assez pour vous, pourquoi ?

    L’IA peut aller au-delà d’un rôle d’outil d’aide à la pratique du métier de médecin, ou d’une quelconque expertise. L’IA peut devenir « notre troisième œil »[4], celui que l’on pourrait avoir métaphoriquement derrière la tête afin de nous aider à percevoir tout ce que nous ne percevons pas dans l’instant. L’idée ici serait d’augmenter l’expert en le connectant à l’IA, dès le début des phases de conception de celle-ci afin de créer une vraie collaboration. Les outils IA conçus en fonction des experts, de leurs contraintes métier objectives, de leurs perceptions subjectives, pourraient mieux s’interfacer avec l’expert métier. Et pour que cet interfaçage se fasse, il vaut mieux que le praticien soit impliqué dans les échanges dès le début de manière continue, et non une fois par mois comme on peut le voir dans certaines collaborations.

    Outre mon activité de clinicien, je travaille sur l’IA appliquée aux images médicales. Afin de maximiser la collaboration, nous avons installé une petite équipe de recherche en IA au sein de la clinique afin de pouvoir échanger constamment et facilement autour des techniques de vision par ordinateur, des stratégies de recherche et des analyses et interprétations des résultats. Mais au-delà de cela, je suis convaincu que l’équipe IA peut ainsi mieux accéder aux médecins, aux infirmières et assistantes, ceux qui ont une connaissance métier et qui interagissent avec les donnés là où elles se trouvent au quotidien. Nous savons qu’une grande partie de  l’apprentissage et de la communication entre individus se fait de façon non verbale et spontanée : en regroupant les praticiens, les data scientists et les données en un même lieu, c’est une symbiose naturelle que je recherche.

    Récemment, Pierre Vladimir Ennezat, (médecin des hôpitaux cardiologue, Centre Hospitalier Universitaire -CHU- Henri Mondor, Créteil) s’est inquiété dans une tribune du journal « le Monde » « des effets de la numérisation croissante de la relation entre soignants et patients ». Qu’en pensez-vous? 

    Heureusement qu’on est inquiet ! Cela nous oblige à une saine remise en cause ! Et nous incite à trouver notre place dans la médecine du futur. J’aime beaucoup citer « Michel Serres » qui pour les 40 ans de l’inria a fait un entretien, dans lequel il a dit que « les nouvelles technologies vont obliger les gens à être intelligents ». Isaac Bashevis Singer, prix nobel de la Littérature en 1978 complète cette pensée par une très belle citation « plus les technologies évolueront, plus on va s’intéresser à l’humain ». En résumé, l’informatique est incontournable dans le paysage médical aujourd’hui. L’IA est déjà en train de chambouler notre société à plusieurs niveaux et cela va sans aucun doute continuer. C’est d’ailleurs pour cela qu’avec le professeur P. Bouletreau, , professeur des Universités et Praticien Hospitalier au CHU de Lyon, nous proposons une introduction à l’IA dans le diplôme interuniversitaire de chirurgie orthognathique. Donc: oui, il va y avoir une numérisation croissante de la relation entre soignants et patients, mais je reste optimiste, car l’humain est un animal social ! C’est paradoxalement, là où il y a le plus de technologie, que l’on cherche le contact et la présence humaine.. Il nous faut donc juste réfléchir tous ensemble pour déterminer comment la machine peut trouver sa place parmi nous, et justement, l’interprétabilité va nous aider à cela.

    Alors justement, pourquoi l’interprétabilité ? Que change ce domaine en IA pour vous en tant que praticien ?

    L’interprétabilité en IA constitue le fait de véritablement rentrer dans le circuit des réseaux de neurones afin de rechercher une information qui vient compléter les connaissances déjà acquises, les challenger et les améliorer. Il faut “saisir ce que font ces réseaux de neurones”. Si ce domaine a été originellement pensé pour expliquer les mécanismes internes des réseaux de neurones, moi je le perçois comme étant un outil de découverte de connaissances auxquels, en tant que praticien, je n’aurais pas forcément pensé. Je vise donc à plus à une interprétabilité qui soit aussi explicable.  La question posée est  : que voit donc ce « troisième œil´´ ? Je suis convaincu qu’en explorant les mécanismes de prise de décision des réseaux de neurones nous pouvons faire de nouvelles découvertes. Par exemple, mieux appréhender des interactions entre différentes structures anatomiques dans une pathologie ou encore mieux définir les interactions entre la dysmorphose (mandibule en position rétrusive) et l’architecture cranio-faciale dans son ensemble (exemple illustré en Figure 2). Cette utilisation de l’interpretabilité des réseaux de neurones s’inspire de la théorie du logicien Kurt Godel qui disait : « Pour trouver des vérités dans un système donné, il faut pouvoir s’en extraire ». Je parle bien d’interprétabilité et non pas d’explicabilité, car le second, même s’il est très important, va moins loin pour moi dans le sens où il doit me permettre de valider le comportement de l’IA, et non me permettre de découvrir de nouvelles connaissances

    Figure 2 – Carte de saillance (technique score-CAN) développée à partir de superposition de 1500 téléradiographie de profil de crâne de patients avec une mandibule en position retrusive par rapport au reste du crâne : retrognathe). Cette carte permet de mieux définir les interactions entre la dysmorphose (mandibule en position rétrusive)et l’architecture cranio faciale dans son ensemble.

     

     

     

    Si vous pouviez ne transmettre qu’un message sur le sujet IA-praticien, quel serait-il ? 

    Grâce à une réelle collaboration entre les spécialistes dans chacun des domaines,  les experts en IA et à l’utilisation de l’interprétabilité, les réseaux de neurones ne doivent pas seulement évoluer d’une black-box vers une white-box pour qu’on leur fasse confiance. Mais ils peuvent devenir une véritable   ”tool-box », c’est à dire une boîte à outils, au service de la réflexion du praticien. Ce défi sera pour moi une clé de la réussite d’une stratégie d’augmentation en médecine mais également éviter que l’IA ne sombre à nouveau  dans un  hiver délaissé par ses utilisateurs, après des promesses qui n’aboutissent pas

    Pour en savoir plus: 

    1. Dr Masrour makaremi :https://www.makaremi-orthodontie.fr/ 
    2. Stratégie d’augmentation : 
      • Davenport TH, Kirby J. Au-delà de l’automatisation. HBR, 2016.
    3.  Utilisation de l’IA pour le positionnement de points sur un tracé céphalométrique pour objectiver les décalages des bases osseuses :
      •  Kim, H., Shim, E., Park, J., Kim, Y. J., Lee, U., & Kim, Y. (2020). Web-based fully automated cephalometric analysis by deep learning. Computer methods and programs in biomedicine, 194, 105513.
      • Lindner, C., & Cootes, T. F. (2015). Fully automatic cephalometric evaluation using random forest regression-voting. In IEEE International Symposium on Biomedical Imaging (ISBI) 2015–Grand Challenges in Dental X-ray Image Analysis–Automated Detection and Analysis for Diagnosis in Cephalometric X-ray Image. 
      • Liu, X., Faes, L., Kale, A. U., Wagner, S. K., Fu, D. J., Bruynseels, A., … & Denniston, A. K. (2019). A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis. The lancet digital health, 1(6), e271-e297.
    4. Théorie des chunks :
      • Gobet, F., Lane, P. C., Croker, S., Cheng, P. C., Jones, G., Oliver, I., & Pine, J. M. (2001). Chunking mechanisms in human learning. Trends in cognitive sciences, 5(6), 236-243.
    5. IA, le troisième œil en médecine :